TIL-080 | Python_ GIL(Global Interpreter Lock)

🌈 GIL(Global Interpreter Lock)

GIL이란?

• GIL이란 파이썬 인터프리터가 한 스레드만 하나의 바이트코드를 실행 시킬 수 있도록 해주는 Lock이다.
  다시 말해, 한 스레드만이 파이썬 인터프리터를 컨트롤할 수 있게 해준다.

• 하나의 스레드에 모든 자원을 허락하고 그 후에는 Lock을 걸어 다른 스레드는 실행할 수 없게 막는다.

• 따라서 멀티스레드를 사용할 경우 thread context switch에 따른 비용도 발생하기 때문에 싱글스레드일때보다 오히려 시간이 오래 걸리는 문제가 생긴다.

GIL을 사용하는 이유는?

• 파이썬은 GC(Garbage collection)를 위해 reference counting을 통해 할당된 메모리를 관리한다. 파이썬 오브젝트마다 레퍼런스로 사용된 횟수를 저장하고, 0이 되는 경우 메모리에서 해제한다. 이것은 GIL사용 이유와 밀접한 연관이 있다.
  (👉 Garbage Collection 관련해서는 추후 글을 작성하도록 하겠다.)

• 참조 횟수에 기반하여 GC를 진행하는 Python의 특성상, 여러 개의 쓰레드가 Python 인터프리터를 동시에 실행하면 Race Condition이 발생할 수 있기 때문이다.
  Race Condition이란, 하나의 값에 여러 쓰레드가 동시에 접근함으로써 값이 올바르지 않게 읽히거나 쓰일 수 있는 상태를 말한다. 이러한 상황을 보고 Thread-safe 하지 않다고 표현하기도 한다.

• 여러 쓰레드가 Python 인터프리터를 동시에 실행할 수 있게 두면 각 객체의 참조 횟수가 올바르게 관리되지 못할 수도 있고, 이로 인해 GC가 제대로 동작하지 않을 수도 있다. 이러한 Race Condition은 뮤텍스(Mutex)를 이용하면 예방할 수 있다.

• 뮤텍스(Mutex)란, 멀티 쓰레딩 환경에서 여러 개의 쓰레드가 어떠한 공유 자원에 접근 가능할 때 그 공유 자원에 접근하기 위해 가지고 있어야 하는 일종의 key와 같다.
  만약 한 쓰레드가 어떠한 공유 자원에 대한 뮤텍스를 가지고 있다면, 다른 쓰레드들은 그 공유 자원에 접근하고 싶을 때도 그 공유 자원에 접근하고 있는 쓰레드가 뮤텍스를 풀어줄 때까지는 기다려야 한다.

• 즉, 하나의 Lock을 통해서 모든 객체들에 대한 reference count의 동기화 문제를 해결하였다.

import sys

a = []
b = a
print(sys.getrefcount(a)) # 3

• 빈 배열 [] 는 a, b, sys.getrefcount에 의해 참조되고 있어 refcount는 3이다.

Python에서의 멀티 스레딩은 항상 손해인가?

• 위에서 언급한바와 같이, CPU 연산의 비중이 큰 작업을 할 때 멀티 쓰레딩은 오히려 성능을 떨어뜨린다. 병렬적인 실행은 불가능한데 괜히 문맥 전환(Context Switching) 비용만 잡아먹는다.

• 그러나, CPU 연산의 비중이 적은, 즉 외부 연산(I/O, Sleep 등)의 비중이 큰 작업을 할 때는 멀티 쓰레딩이 굉장히 좋은 성능을 보인다. 따라서 Python에서 멀티 쓰레딩이 무조건 안 좋다는 말은 사실이 아니다. 실제로, I/O 혹은 Sleep 등의 외부 연산이 대부분이라면 멀티 쓰레딩을 통해 큰 성능 향상을 기대할 수 있다.
  아래의 예시를 보면 멀티 스레딩을 통해 더 빨라진 것을 확인할 수 있다.

import threading
import time

def sleep_for_2s():
    time.sleep(2)

#Single Thread
start = time.time()
sleep_for_2s()
sleep_for_2s()
end = time.time()
print('[Single Thread] total time : {}'.format(end - start))

# Multi Thread
start = time.time()
thread1 = threading.Thread(target=sleep_for_2s)
thread2 = threading.Thread(target=sleep_for_2s)
thread1.start()
thread2.start()
thread1.join()
thread2.join()
end = time.time()
print('[Multi Thread] total time : {}'.format(end - start))

[Single Thread] total time : 4.006161451339722
[Multi Thread] total time : 2.0036208629608154

📝 Reference

1. https://torbjorn.tistory.com/669
2. https://velog.io/@doondoony/Python-GIL
3. https://ssungkang.tistory.com/entry/python-GIL-Global-interpreter-Lock%EC%9D%80-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C
4. http://www.dabeaz.com/python/UnderstandingGIL.pdf
5. https://it-eldorado.tistory.com/160