최근 네이버 카페 검색 결과 크롤링 프로그램을 개발했다. 나름 머리를 굴려가며 범용성과 확장성을 생각하며 개발을 했지만, 아무래도 구력이 부족하다보니 부족한부분이 많았고 이 부분을 회사 동료가 rebase를 해주었다. Template Method Pattern에 대해

파이썬으로 개발을 한지 얼마 되지 않아 파이썬 개발시 기본이라는 pep8 양식을 지키지 않은 경우가 왕왕 발생한다. 이번에 개발한 프로그램을 코드를 보며 pep8 상 어긋나는 부분 특히 import 부분을 비교해보려한다 1. 한 라인에 하나의 모듈 import im

Pycon2019의 셀러리 핵심과 커스터마이제이션을 정리한 글입니다. 1. Celery celery? 메세지 전달을 기반으로 한 비동기 task 큐 작업 : message로 표현됨 Client : 작업을 요청하는 주체 Worker : 작업을 수행하는 주체 Broke

공식문서의 Routing tasks를 번역했습니다. celery에서는 사용가능한 queue를 task_queues로 세팅한다. taskdefaultqueue는 명백한 루트가 지정되지 않은 태스크들을 라우팅할 때 쓰인다. 디폴트 exchange, exchange t

celery의 AMQP Primer 를 번역했습니다. Messages message는 header와 body로 구성돼있다. Celery는 header를 message의 content type과 내용의 encoding을 저장하는데 쓴다. content type은 보통

1. Basic 자동 라우팅 task를 라우팅하는 가장 쉬운 방법은 taskcreatemissing_queues 세팅을 사용하는 것이다. 이 세팅을 키면, 아직 task queues에 지정되지 않은 이름이 있는 queue가 생성된다. 이를 통해 task라우팅을 손쉽게

1. Ensuring Operation 하나의 시스템이 제 시간에 처리할 수 있는 데이터의 양은 제한되어 있다. 만약 셀러리에서 하나의 태스크가 완료되는데 10분이 걸리고, 매 분마다 새로운 태스크들이 계속해서 유입된다면, 큐는 절대로 비는 일이 없을 것이다. 이것이

Jenkins Pipeline (or simply "Pipeline" with a capital "P") is a suite of plugins which supports implementing and integrating continuous delivery pipel

env를 입력해주면 jenkins 컨테이너의 환경변수가 주르륵 나온다. 여기에서 JAVA_HOME이 해당 경로이다.JAVA_HOME=/opt/java/openjdk 확인너무 잘된다 ㅎㅋㅎ

1. 도커에서 동작하는 jenkins 확인

ci/ci 기본 개념 continuous integration : 여러 개발자들의 코드베이스를 계속해서 통합함. continuous delivery : 서비스를 배달함. 코드 베이스가 항상 배포 가능한 상태로 유지하는 것. continuous deployment

멀티 스레딩의 장점이자 단점 : 메모리를 공유한다멀티 프로세싱이라면 : 하나의 파이썬 파일을 자식 프로세스로 복제하여 진행멀티 스레딩은 하나의 프로세스에서 스레드를 여러개 만들어서 진행 : 이 스레드들끼리 메모리를 공유한다.개중 하나의 스레드에서 계산을 하다가 에러가