# ray-cluster

xcellentbird

0. Intro 지난번에는 Ray를 이용하여 컴퓨터 한대(4개의 CPU)로 병렬 처리를 해보았다. 속도는 빨라졌다고 하지만, 수만개의 데이터를 처리하는 데에 턱없이 부족해보인다. 그래서 이번에는 GCP 내에서 Ray의 Cluster 분산 처리를 해보기로 하였다. 1. Python Code 다음은 분산 처리를 위한 코드다. 'raytask'는 한 개의 데이터를 처리하는 코드가 담겨있다. 그리고 @ray.remote를 통해 함수를 감싸고, 'rayprocess' 함수 내에서 for문을 통해 remote 함수를 실행시켜 objref들을 만들어낸다. 마지막으로는 get을 통해 'raytask'코드들을 작동시킨다. 병렬 처리와 다른 점은 ray.init(address='auto')로 설정한다는 것이다. 이를 통해 ray가 자동으로 cluster를 찾아 연결한다. 그리고, OpenCV의 경우, 'setNumTreads(nthreads=0)'을 통해 쓰레드를 사용하지 않도록 한