TIL-079 | Python_ Generator

🌈 제너레이터 (Generator)

제너레이터란?

• 제너레이터는 iterator를 생성해주는 함수이다.
• 일반적인 함수는 return 키워드를 통해 값을 반환하지만, 제너레이터는 yield 키워드를 이용하여 다른 방식으로 결과 값을 생성할 수 있다. 아래의 예시를 보도록 하자.

def generator(n):
    i = 0
    while i < n:
        yield i
        i += 1

• 함수의 실행중 yield를 만나게 될 경우, 해당 함수는 그 상태로 정지 되며, 반환 값을 next() 를 호출한 쪽으로 전달 하게 된다. 이후 해당 함수는 일반적인 경우 처럼 종료되는 것이 아니라 그 상태로 유지되게 된다. 즉, 함수에서 사용된 local 변수나 instruction pointer 등과 같은 함수 내부에서 사용된 데이터들이 메모리에 그대로 유지된다.

이미지 출처

generator expression

• list comprehension과 유사한 방식으로 generator expression을 제공한다. list comprehension의 [] 대신 ()를 사용하면 된다.

a = [i for i in range(5)]
print(a) # [0, 1, 2, 3, 4]

b = (i for i in range(5))
print(b) # <generator object <genexpr> at 0x7f1235d1ff90>

• 위의 예시와 같이 generator object가 생성된다.

제너레이터를 사용하는 이유?

✔ memory를 효율적으로 사용할 수 있다.

import sys

#list
sys.getsizeof( [i for i in range(100) if i % 2] )    
# 520

sys.getsizeof( [i for i in range(500) if i % 2] )
# 2208

#generator
sys.getsizeof( (i for i in range(100) if i % 2) )    
# 112

sys.getsizeof( (i for i in range(500) if i % 2) )
# 112

• 리스트의 경우 사이즈가 커질 수록 메모리 사용량이 늘어난다. 하지만 제너레이터는 사이즈가 커져도 메모리 사용향은 동일하다.
• 리스트는 리스트에 속한 모든 데이터를 메모리에 적재하기 때문에 리스트의 크기만큼 메모리의 사이즈가 늘어나는 것이고, 제너레이터는 next() 메소드를 통해 차례로 값에 접근할 때마다 메모리에 적재한다.
• 리스트의 규모가 클수록 제너레이터의 효율성이 증가한다.

✔ Lazy evaluation 즉 계산 결과 값이 필요할 때까지 계산을 늦추는 효과

def sleep_func(x):
    print ("sleep")
    time.sleep(1)
    return x

# list 생성
list = [sleep_func(x) for x in xrange(5)]

for i in list:
    print i
    
#결과 값
sleep
sleep
sleep
sleep
sleep
0
1
2
3
4

# generator 생성
gen = (sleep_func(x) for x in xrange(5))

for i in gen:
    print i
    
#결과 값
sleep
0
sleep
1
sleep
2
sleep
3
sleep
4

• list comprehension 을 수행 할때, list의 모든 값을 먼저 수행하기 때문에 sleep_func() 함수를 xrange() 값 만큼 한번에 수행하게 된다. 만약 sleep_func() 에서 수행하는 시간이 길거나 list 값이 매우 큰 경우 처음 수행 할때 그만큼 부담으로 작용된다.

• generator 의 경우 generator를 생성할 때는 실제 값을 로딩하지 않고, for 문이 수행 될때 하나씩 sleep_func()을 수행하며 값을 불러오게 된다. 수행 시간이 긴 연산을 필요한 순간까지 늦출 수 있다는 점이 특징이다.

📝 Reference

1. https://bluese05.tistory.com/56
2. https://www.daleseo.com/python-yield/
3. https://ssungkang.tistory.com/entry/python%EC%A0%9C%EB%84%88%EB%A0%88%EC%9D%B4%ED%84%B0generator%EB%A5%BC-%EC%95%8C%EC%95%84%EB%B3%B4%EC%9E%90