📢 python에서의 멀티스레딩

파이썬에서 멀티스레딩을 사용할 수는 있지만, 특정 경우에는 제약사항이 있다.

1. Global Interpreter Lock (GIL):

• 파이썬의 CPython 구현에는 GIL이라고 하는 Global Interpreter Lock이 있다. 이것은 한 번에 하나의 스레드만 파이썬 바이트코드를 실행하도록 하는 뮤텍스(락)이다.
• GIL은 멀티스레드 환경에서 여러 CPU 코어를 활용하는 데 제한을 가한다. 따라서 CPU-bound 작업(계산 집약적인 작업)을 병렬로 처리할 때 이점을 제공하지 않는다.

2. I/O-bound 작업은 멀티스레딩을 통해 개선 가능:

• I/O-bound 작업(예: 파일 읽기/쓰기, 네트워크 통신, 데이터베이스 쿼리)은 대기 시간이 발생하므로 멀티스레딩을 사용하여 여러 작업을 병렬로 처리할 수 있다. GIL은 I/O-bound 작업에 대한 병렬화를 제한하지 않는다.

3. CPU-bound 작업의 경우 멀티프로세싱을 고려:

• CPU-bound 작업을 병렬로 처리하려면 멀티프로세싱을 고려해야 한다. 멀티프로세싱은 각 프로세스가 별도의 인터프리터 인스턴스를 가지기 때문에 GIL의 영향을 받지 않는다. 따라서 CPU-bound 작업의 병렬화에는 멀티프로세싱이 더 적합하다.

4. 스레드 간 동기화 문제:

• 멀티스레딩을 사용할 때 스레드 간에 데이터 공유 및 동기화 문제를 해결해야 한다. 이는 복잡성을 증가시키고 버그의 가능성을 높인다.

요약하면, 파이썬의 GIL은 멀티스레딩을 통한 병렬화를 제한하며, CPU-bound 작업을 병렬로 처리하려면 멀티프로세싱이 더 적합하다. 멀티스레딩은 주로 I/O-bound 작업 및 동시성을 다룰 때 유용하다.

📢 Pool

multiprocessing 모듈에서 제공하는 Pool은 파이썬에서 멀티프로세싱을 쉽게 구현하기 위한 도구이다. 멀티프로세싱은 여러 개의 프로세스를 동시에 실행하여 병렬 처리를 가능하게 한다. Pool은 특히 CPU 바운드 작업 (계산 집약적인 작업)을 가속화하는 데 유용하다.

🔎 Pool의 주요 개념과 사용법

1. 풀 생성

Pool 객체를 생성할 때, 병렬로 실행하려는 프로세스 수를 지정한다. 일반적으로 CPU 코어 수나 원하는 병렬성 수준에 따라 프로세스 수를 선택하면 된다.

from multiprocessing import Pool

# 원하는 병렬성 수준을 설정
pool = Pool(processes=4)  # 4개의 프로세스로 작업을 병렬로 실행

2. 작업 분배

Pool은 작업을 병렬 프로세스로 분배하고 각 프로세스가 작업을 수행한다. pool.map() 또는 pool.apply_async()를 사용하여 작업을 풀에 추가한다.

• pool.map(function, iterable): 반복 가능한 객체 내의 요소를 함수에 매핑하고 결과를 순차적으로 반환한다.
• pool.apply_async(function, args): 함수를 비동기적으로 호출하고 AsyncResult 객체를 반환한다.

3. 작업 실행

Pool은 생성된 프로세스 풀에서 작업을 병렬로 실행한다. 작업이 완료되면 결과를 반환하거나 처리할 수 있다.

results = pool.map(some_function, some_iterable)

4. 결과 처리

각 작업이 완료되면 결과를 처리하거나, 필요에 따라 저장할 수 있다.

for result in results:
    process(result)

5. 풀 종료

작업이 완료되면 pool.close()를 호출하여 풀을 닫고, pool.join()을 호출하여 모든 작업이 완료될 때까지 대기한다.

pool.close()
pool.join()

Pool을 사용하면 CPU 바운드 작업을 효과적으로 병렬로 실행하고, 멀티코어 프로세서에서 높은 성능을 얻을 수 있다.