celery & redis

✔️ celery

🔗celery 공식 문서

python 동시성 프로그래밍에서 가장 많이 사용하는 방법 중 하나로, 분산 메시지 전달을 기반으로 동작하는 비동기 작업 큐(Asynchronous Task Queue)

• 비동기 작업은 즉각적인 응답을 제공하기 어려운 작업을 수행 할 때 활용 / 실시간 처리에 중점

Task Queue

• 스레드 또는 머신 에 작업을 분산 시키기 위한 메커니즘
• task라는 하나의 작업 단위를 입력으로 받는다 (함수명 가능)
• 작업자를 Worker라고 한다
• 전담 워커 프로세스는 task queue를 지속적으로 모니터링
• celery는 클라이언트와 워커 사이를 중재하는 브로커 사용하며 메세지로 통신
• 브로커로 Redis 와 RabbitMQ 주로 사용 (RabbitMQ가 더 잘 맞는다고 함)

celery 특징

• 환경설정 파일이 필요 없어서 사용 및 유지 쉽다
• 고가용성 워커 및 클라이언트는 connection유실, 실패했을때 자동 Retry
• 빠르다. 분당 수백만 건의 task 처리
• 유연하다. celery 거의 모든 부분을 자체적 확장, 사용가능

Celery Worker의 동작

Celery는 Tasks 를 Prefetch방식으로 가져와 처리

1. Worker가 미리 처리하려는 작업 사이즈만큼 미리 가져와 대기 시켜둠
2. 진행 중인 작업이 완료되면 미리 대기 시켜둔 Task 꺼내와서 처리

worker_prefetch_multiplier opt으로 몇개의 작업을 미리 가져와 대기 할 건지 선택 가능

Prefetch

• 장점
  • 미리 Worker의 메모리로 옮겨놓아 Broker와 통신 횟수 줄일 수 있다.
  • 단기 작업으로 이루어진 Worker인 경우 한번에 prefetch 많이 가져올 수록 지연 시간 실행 시간에서 이득을 볼 수 있다.
• 단점
  • Worker에서 처리하는 Task들의 시간 불규칙한 경우 할당 후 실행되기까지 긴 시간 필요, 나중에 Broker로 전달되어 다른 Worker에 할당된 Task보다 늦을 수 있다. (긴 시간의 Task, 짧은 시간의 Task처리하는 Worker 분리로 해결)
  • 걸리는 시간에 따라 분리 힘들경우 prefetch가 더 비효율적 일 수 있다.

Celery 설치

$ pip install 'celery[redis]'

celery모듈과 redis 연동을 위한 dependency를 한번에 설치 (Redis설치 하지 않아도 의존성 패키지는 설치 된다.

---

✔️Redis

celery에서 데이터 저장 장치인 redis를 메시지 브로커 용도로 사용

데이터 검색을 위해 DB에 접근 전 메모리에서 Cache를 가져다 써 속도가 빠르다.

브로커는 작업 메세지를 전달받은 대기열(Queue)에 보관했다가 적절한 작업자(Worker)가 메세지를 가져가서 작업(Job)을 수행하게 된다

Key-Value값을 이용해 처리할 작업을 Celery에 보낸 다음 Cache 시스템에서 해당 Key를 없애는 방식으로 동작

Redis 설치

$ wget http://download.redis.io/redis-stable.tar.gz
$ tar xvzf redis-stable.tar.gz
$ cd redis-stable
$ 
$ redis-server # redis 실행
$ redis-cli ping # 정상 설치되었는지 확인
> PONG