20260330_수업클로링

heeyoung_1023·2026년 3월 30일

멋부사_기록

목록 보기

3/13

12번에 5단계 여러링크를 조금씩돌리는 전략세우기

자동화 트리거형태로 비동기형태로 만들어주는것

clone

셀러리

자동기반의 크로링
주기적으로 데이터 수집해야될때

nano 로 사용에서 직접 파일 열수있다
리눅스 스케쥴링담당하는 파일이 연결되어

nano // docker - // 파이썬런서버 //

18 20 24 도커 설명자세하게할것

cd 체인지디렉토리해서 ----

도커로 바꾼다면 컨테이너종류가 많다 그 종류마다. bash 5개 넘으면

레디스 , 컨테이너 ,런서버 두개 비교 -->

스켈쥴리티 유틸리티 작은단위 프로그램 나노편집기고 코딩을 열기위해
자동 클롤링이 발생되기 때문에 메네지점피와이를 실행해서 매시간마다
자동 클롤링

리눅스기바의 클론으로 바뀌어져야한다.

타겟을 정해줘야 정확한 정보필요정보만 하도록 필요하다 .

내가 크롤링할 사이트를 안에 분석한뒤 target_selector

자동연관성있는 파일은 무엇인지..

Celery는 Python에서 비동기 작업(Task)을 백그라운드에서 실행하게 해주는 분산 작업 큐(Distributed Task Queue)입니다. 자동화 트리거와 클론(복제) 작업에서 어떻게 쓰이는지 흐름으로 보여드릴게요.각 영역을 클릭하면 더 깊은 설명을 요청할 수 있어요. 핵심만 정리하면:

🔧 트리거 형태

Celery에서 작업을 시작하는 3가지 트리거 방식이 있어요.

즉시 실행 → task.delay(arg) — HTTP 요청 등 이벤트 발생 즉시
옵션 지정 실행 → task.apply_async(args, countdown=60) — 지연, 만료 등 세밀한 제어
스케줄 실행 → Celery Beat — cron처럼 주기적으로 자동 트리거

🧬 클론(Worker) 개념

"클론"이란 동일한 워커를 여러 개 복제해서 동시에 작업을 처리하는 것이에요.

# 워커 4개 동시 실행 = 4개의 클론
celery -A myapp worker --concurrency=4

하나의 작업 정의(@app.task)를 여러 워커가 나눠 처리하기 때문에, 이메일 10만 건도 워커 수만큼 병렬로 빠르게 소화할 수 있어요.

📦 실무에서 주로 쓰는 용도

용도	트리거	이유
대용량 이메일/알림 발송	이벤트	응답 지연 없이 백그라운드 처리
DB/환경 클론·복제	스케줄 or API	무거운 작업을 비동기로 분리
이미지 리사이즈, 파일 변환	파일 업로드 이벤트	요청 블로킹 방지
정기 리포트 생성	Celery Beat (cron)	매일 자정 자동 실행
외부 API 연동/크롤링	스케줄	속도 제한에 맞춰 순차 처리