🐍파이썬 asyncio

파이썬 asyncio를 활용하여 웹페이지를 열고 닫는 프로그램의 시간을 단축 시켜보자.

순차 실행

다음, 구글, 네이버, 벨로그, 깃허브, 무신사 홈페이지를 순차적으로 여는 방식으로 작성해보자.

import timeit
from urllib.request import urlopen

urls =['https://daum.net', 'https://google.com', 'https://naver.com', 'https://velog.io/', 'https://github.com/', 'https://www.musinsa.com/']
start = timeit.default_timer()

# 순차 실행부
for url in urls:
    print('Start', url)
    urlopen(url)
    print('Done', url)

# 완료시간 - 시작시간
duration = timeit.default_timer() - start

# 총 실행 시간
print('Total Time : ', duration)

# 결과 
Start https://daum.net
Done https://daum.net
Start https://google.com
Done https://google.com
Start https://naver.com
Done https://naver.com
Start https://velog.io/
Done https://velog.io/
Start https://github.com/
Done https://github.com/
Start https://www.musinsa.com/
Done https://www.musinsa.com/
Total Time :  1.797806497

반복문으로 urlopen 함수를 사용해서 각 홈페이지를 여는 프로그램이다.
각홈페이지를 열고 작업을 마치고 다음 페이지를 연다.
총 1.8초 정도가 걸렸다.

asyncio실행

위의 프로그램에서 웹페이지를 여는동안 다른 웹페이지도 여는 비동기 방식으로 바꿔보자.

import timeit
from urllib.request import urlopen
⭐️import asyncio 

urls =['https://daum.net', 'https://google.com', 'https://naver.com', 'https://velog.io/', 'https://github.com/', 'https://www.musinsa.com/']
start = timeit.default_timer()


if __name__ == '__main__':
    # 루프 생성
    loop = asyncio.get_event_loop()
    # 루프 대기
    loop.run_until_complete(main())
    # 루프 종료 
    loop.close()
    # 완료시간 - 시작시간
    duration = timeit.default_timer() - start
    # 총 실행 시간
    print('Total Time : ', duration)

loop = asyncio.get_event_loop() 이벤트 루프를 생성하고
loop.run_until_complete(main()) 이벤트 루프가 끝날때 까지 대기하고 닫아준다.

main함수를 구현해보자.

import timeit
from urllib.request import urlopen
import asyncio 

urls =['https://daum.net', 'https://google.com', 'https://naver.com', 'https://velog.io/', 'https://github.com/', 'https://www.musinsa.com/']
start = timeit.default_timer()


⭐️async def main():
 
    # asyncio.ensure_future :
    futures = [
        asyncio.ensure_future(fetch(url)) for url in urls
    ]
    
    # 결과 취합
    rst = await asyncio.gather(*futures)

    print()
    print('Result : ', rst)

if __name__ == '__main__':
    # 루프 생성
    loop = asyncio.get_event_loop()
    # 루프 대기
    loop.run_until_complete(main())
    # 루프 종료 
    loop.close()
    # 완료시간 - 시작시간
    duration = timeit.default_timer() - start
    # 총 실행 시간
    print('Total Time : ', duration)

futures = [ asyncio.ensure_future(fetch(url)) for url in urls ] 태스크 객체(퓨처객체)를 만들어서 리스트에 담아준다.
rst = await asyncio.gather(*futures) 테스크 객체가 다 끝날 때 까지 기다렸다가 결과 값을 한번에 담는다.

url을 여는 fetch함수를 구현 해보자.

```python
import timeit
from urllib.request import urlopen
import asyncio 

urls =['https://daum.net', 'https://google.com', 'https://naver.com', 'https://velog.io/', 'https://github.com/', 'https://www.musinsa.com/']
start = timeit.default_timer()

⭐️async def fetch(url):
    print('Start', url)
    # 실행
    res = await loop.run_in_executor(None, urlopen, url)
    print('Done', url)
    # 반환
    return res.read()[0:5]


async def main():
 
    # asyncio.ensure_future :
    futures = [
        asyncio.ensure_future(fetch(url)) for url in urls
    ]
    
    # 결과 취합
    rst = await asyncio.gather(*futures)

    print()
    print('Result : ', rst)

if __name__ == '__main__':
    # 루프 생성
    loop = asyncio.get_event_loop()
    # 루프 대기
    loop.run_until_complete(main())
    # 루프 종료 
    loop.close()
    # 완료시간 - 시작시간
    duration = timeit.default_timer() - start
    # 총 실행 시간
    print('Total Time : ', duration)

res = await loop.run_in_executor(None, urlopen, url) 네이티브 코루틴 안에서 블로킹 I/O 함수를 실행하려면 이벤트 루프의 run_in_executor 함수를 사용하여 다른 스레드에서 병렬로 실행시켜야 한다.

이제 실행을 해보자.

Start https://daum.net
Start https://google.com
Start https://naver.com
Start https://velog.io/
Start https://github.com/
Start https://www.musinsa.com/
Done https://github.com/
Done https://naver.com
Done https://daum.net
Done https://www.musinsa.com/
Done https://velog.io/
Done https://google.com

Result :  [b'<!DOC', b'<!doc', b'\n<!do', b'<!doc', b'\n\n\n\n\n', b'<!DOC']
Total Time :  0.528519932

실행 시간이 0.5초로 줄어 들었으며
페이지를 닫을 때 순서가 열때의 순서와 다르다.
즉 비동기로 일이 처리 되었다.