멋사부부트캠프+파이썬3기_20260330_선생님수업기록

heeyoung_1023·2026년 3월 30일

멋부사_기록

목록 보기

4/13

Celery는 Python에서 비동기 작업(Task)을 백그라운드에서 실행하게 해주는 분산 작업 큐(Distributed Task Queue)입니다. 자동화 트리거와 클론(복제) 작업에서 어떻게 쓰이는지 흐름으로 보여드릴게요.

Celery는 Python에서 비동기 작업(Task)을 백그라운드에서 실행하게 해주는 분산 작업 큐(Distributed Task Queue)입니다. 자동화 트리거와 클론(복제) 작업에서 어떻게 쓰이는지 흐름으로 보여드릴게요.각 영역을 클릭하면 더 깊은 설명을 요청할 수 있어요. 핵심만 정리하면:

🔧 트리거 형태

Celery에서 작업을 시작하는 3가지 트리거 방식이 있어요.

즉시 실행 → task.delay(arg) — HTTP 요청 등 이벤트 발생 즉시
옵션 지정 실행 → task.apply_async(args, countdown=60) — 지연, 만료 등 세밀한 제어
스케줄 실행 → Celery Beat — cron처럼 주기적으로 자동 트리거

🧬 클론(Worker) 개념

"클론"이란 동일한 워커를 여러 개 복제해서 동시에 작업을 처리하는 것이에요.

# 워커 4개 동시 실행 = 4개의 클론
celery -A myapp worker --concurrency=4

하나의 작업 정의(@app.task)를 여러 워커가 나눠 처리하기 때문에, 이메일 10만 건도 워커 수만큼 병렬로 빠르게 소화할 수 있어요.

📦 실무에서 주로 쓰는 용도

용도	트리거	이유
대용량 이메일/알림 발송	이벤트	응답 지연 없이 백그라운드 처리
DB/환경 클론·복제	스케줄 or API	무거운 작업을 비동기로 분리
이미지 리사이즈, 파일 변환	파일 업로드 이벤트	요청 블로킹 방지
정기 리포트 생성	Celery Beat (cron)	매일 자정 자동 실행
외부 API 연동/크롤링	스케줄	속도 제한에 맞춰 순차 처리

더 궁금한 부분(코드 예시, 특정 사용 케이스 등)이 있으면 알려주세요!

질문

nano // docker - // 파이썬메네지런서버 세가지의 사용을 언제하는지와 차이점 알려줘

각 항목을 클릭하면 더 자세한 설명을 요청할 수 있어요. 핵심만 한 줄씩 정리하면:

📝 nano — "터미널용 메모장"
서버에 SSH로 접속했을 때 IDE 없이 파일을 열어서 수정하는 도구예요. 실행이나 배포와는 전혀 무관하고 순수하게 텍스트를 편집할 때만 씁니다.

🐍 manage.py runserver — "개발용 미리보기"
Django 코드를 짜면서 localhost:8000에서 바로바로 결과를 확인하는 도구예요. 코드가 바뀌면 자동으로 재시작되지만, 절대 운영 서버에 쓰면 안 됩니다 (보안·성능 모두 취약).

🐳 docker — "포장 박스 + 배달"
"내 컴퓨터에서는 되는데 서버에서 안 돼요" 문제를 근본적으로 없애줘요. 앱·의존성·환경을 통째로 컨테이너에 담아서 어디서든 똑같이 실행되게 만듭니다. 팀 협업이나 배포 단계에서 주로 씁니다.

실무 순서는 다이어그램 하단처럼 nano(수정) → runserver(확인) → docker(배포) 흐름으로 이어집니다.

질문

여기에서 윈도우 안에 리눅스에서의 스케쥴러와 리눅스안에 스케쥴러가 차이가있다고 하는데 nano // docker - // 파이썬메네지런서버 와 연결하여 사용방법과 기초적인 이론부분을 알려줘

좋은 질문이에요. 3단계로 나눠서 설명할게요 — 먼저 커널 구조 이론(왜 차이가 나는지), 그 다음 각 도구가 환경별로 어떻게 달라지는지입니다.
기초 이론부터: WSL1은 리눅스 커널이 없고 syscall을 Windows NT로 번역만 합니다. WSL2는 Hyper-V 위에 진짜 리눅스 커널이 올라갑니다. 이 차이가 스케줄러(cron/Celery)에 결정적 영향을 줍니다.

핵심은 CFS(Completely Fair Scheduler)입니다. 리눅스 커널이 프로세스에 CPU 시간을 공정하게 나눠주는 엔진인데, WSL1에는 이게 없고 WSL2는 VM 안에서만 존재합니다. 이제 이 차이가 nano / docker / runserver / cron에 어떻게 영향을 주는지 환경별로 보여드릴게요.

각 항목을 클릭하면 더 깊은 설명을 요청할 수 있어요. 전체를 한 문장씩 정리하면:
CFS 스케줄러 이론 — 리눅스는 CFS(Completely Fair Scheduler)로 모든 프로세스에 CPU 시간을 공정하게 나눕니다. cron과 Celery Beat은 이 스케줄러 위에서 동작하는데, WSL1은 진짜 리눅스 커널이 없어서 CFS 자체가 없습니다. WSL2는 VM 안에 진짜 리눅스 커널이 있지만, 윈도우를 끄면 VM도 꺼지므로 cron이 자동으로 살아나지 않아요.
실전 결론:

개발 중이라면 WSL2로 충분하되, cron/Celery 자동화가 필요하면 sudo service cron start를 .bashrc나 시작 스크립트에 추가해야 합니다.
운영 서버에는 항상 네이티브 리눅스를 써야 합니다 — Docker, runserver(→ gunicorn), cron 모두 추가 설정 없이 그냥 됩니다.
nano는 환경에 상관없이 동작하지만, WSL에서는 /home/ 안의 파일을 편집하는 게 /mnt/c/ 보다 훨씬 빠릅니다.

이제 앞서 배운 도구들과 연결해서 전체 그림을 정리하면:

가상환경 — "무엇을 격리하냐"로 선택
격리 강도가 약한 순서로 보면, venv/poetry는 패키지만 분리하고, Docker는 프로세스 전체를 격리하고, VM은 OS 자체를 통째로 분리합니다. WSL2는 그 중간 — Windows 안에 리눅스 커널을 올려서 개발 편의를 제공하지만 운영에는 적합하지 않아요.
자동화 시스템 — "언제 실행하냐"로 선택
4가지 레벨이 있습니다. 코드 안에서 비동기로 처리하려면 Celery, OS가 시간에 맞춰 실행하게 하려면 cron/systemd, 코드 변경에 반응해서 배포하려면 GitHub Actions, 서버 수십 대에 설정을 한 번에 뿌려야 하면 Ansible이에요.
앞 대화와 연결하면:

nano → Ansible이 대신해줌 (서버 설정 파일 자동 배포)
manage.py runserver → GitHub Actions이 자동으로 테스트 후 운영 배포
Docker → Celery Beat + docker-compose로 스케줄러까지 컨테이너화
cron → 네이티브 리눅스에서만 완전하고, WSL2에서는 매번 수동 시작 필요

궁금한 레벨의 예시 코드나 설정 방법이 있으면 버튼을 클릭하거나 말씀해주세요!

===================================

실무 순서는 다이어그램 하단처럼 nano(수정) → runserver(확인) → docker(배포) 흐름으로 이어집니다.

질문

답변

좋은 질문이에요. 3단계로 나눠서 설명할게요 — 먼저 커널 구조 이론(왜 차이가 나는지), 그 다음 각 도구가 환경별로 어떻게 달라지는지입니다.

기초 이론부터: WSL1은 리눅스 커널이 없고 syscall을 Windows NT로 번역만 합니다. WSL2는 Hyper-V 위에 진짜 리눅스 커널이 올라갑니다. 이 차이가 스케줄러(cron/Celery)에 결정적 영향을 줍니다.핵심은 CFS(Completely Fair Scheduler)입니다. 리눅스 커널이 프로세스에 CPU 시간을 공정하게 나눠주는 엔진인데, WSL1에는 이게 없고 WSL2는 VM 안에서만 존재합니다. 이제 이 차이가 nano / docker / runserver / cron에 어떻게 영향을 주는지 환경별로 보여드릴게요.---

각 항목을 클릭하면 더 깊은 설명을 요청할 수 있어요. 전체를 한 문장씩 정리하면:

CFS 스케줄러 이론 — 리눅스는 CFS(Completely Fair Scheduler)로 모든 프로세스에 CPU 시간을 공정하게 나눕니다. cron과 Celery Beat은 이 스케줄러 위에서 동작하는데, WSL1은 진짜 리눅스 커널이 없어서 CFS 자체가 없습니다. WSL2는 VM 안에 진짜 리눅스 커널이 있지만, 윈도우를 끄면 VM도 꺼지므로 cron이 자동으로 살아나지 않아요.

실전 결론:

개발 중이라면 WSL2로 충분하되, cron/Celery 자동화가 필요하면 sudo service cron start를 .bashrc나 시작 스크립트에 추가해야 합니다.
운영 서버에는 항상 네이티브 리눅스를 써야 합니다 — Docker, runserver(→ gunicorn), cron 모두 추가 설정 없이 그냥 됩니다.
nano는 환경에 상관없이 동작하지만, WSL에서는 /home/ 안의 파일을 편집하는 게 /mnt/c/ 보다 훨씬 빠릅니다.

질문

nano // docker - // 파이썬메네지런서버 세가지의 사용을 언제하는지와 차이점 알려줘

각 항목을 클릭하면 더 자세한 설명을 요청할 수 있어요. 핵심만 한 줄씩 정리하면:

실무 순서는 다이어그램 하단처럼 nano(수정) → runserver(확인) → docker(배포) 흐름으로 이어집니다.

카카오맵 리뷰 크롤링 방법을 HTML 구조 기반으로 설명해 드릴게요!

구조 분석 (스크린샷 기준)

ul.list_review
  └─ li
       └─ div.inner_review
            └─ div.area_reviewer
                 └─ div.info_review.type_detail  ← 핵심 컨테이너
                      ├─ div.info_grade
                      │    ├─ span.starred_out > 별점(5.0)
                      │    └─ span.wrap_grade > figure.star들
                      └─ span.txt_date > 2026.01.21.

Python 크롤링 코드 (Selenium)

카카오맵은 JavaScript 렌더링 페이지라 requests만으론 안 되고, Selenium 이 필요합니다.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
import pandas as pd

def crawl_kakaomap_reviews(place_url: str):
    options = webdriver.ChromeOptions()
    # options.add_argument("--headless")  # 필요시 headless 모드
    options.add_argument("--no-sandbox")
    options.add_argument("--disable-dev-shm-usage")

    driver = webdriver.Chrome(options=options)
    driver.get(place_url)
    time.sleep(2)

    # 후기 탭 클릭
    try:
        review_tab = driver.find_element(By.XPATH, '//a[contains(text(), "후기")]')
        review_tab.click()
        time.sleep(2)
    except:
        print("후기 탭 클릭 실패")

    reviews = []

    while True:
        # 리뷰 목록 파싱
        items = driver.find_elements(By.CSS_SELECTOR, "ul.list_review li div.inner_review")

        for item in items:
            review = {}

            # 별점
            try:
                score = item.find_element(By.CSS_SELECTOR, "div.info_grade span.screen_out + span")
                review["score"] = score.text
            except:
                review["score"] = None

            # 날짜
            try:
                date = item.find_element(By.CSS_SELECTOR, "span.txt_date")
                review["date"] = date.text
            except:
                review["date"] = None

            # 리뷰 텍스트
            try:
                text = item.find_element(By.CSS_SELECTOR, "p.txt_comment")
                review["text"] = text.text
            except:
                review["text"] = None

            # 키워드 태그 (맛, 친절, 가성비 등)
            try:
                tags = item.find_elements(By.CSS_SELECTOR, "span.tag_item")
                review["tags"] = [t.text for t in tags]
            except:
                review["tags"] = []

            reviews.append(review)

        # 다음 페이지 버튼 클릭
        try:
            next_btn = driver.find_element(By.CSS_SELECTOR, "a.btn_next")
            if "disabled" in next_btn.get_attribute("class"):
                break
            next_btn.click()
            time.sleep(2)
        except:
            break

    driver.quit()
    return reviews


# 실행
url = "https://place.map.kakao.com/여기에_장소ID"
data = crawl_kakaomap_reviews(url)

df = pd.DataFrame(data)
df.to_csv("kakaomap_reviews.csv", index=False, encoding="utf-8-sig")
print(df)

주의사항

항목	내용
URL 형식	`https://place.map.kakao.com/{장소ID}`
장소 ID	카카오맵에서 장소 클릭 후 URL에서 숫자 추출
크롤링 딜레이	`time.sleep()` 필수 (차단 방지)
robots.txt	카카오는 크롤링 제한 정책 있음 → 개인/연구 목적만 사용
로그인 필요 여부	일부 리뷰는 로그인 없이도 보이지만, 전체 조회는 로그인 필요할 수 있음

설치 패키지

pip install selenium pandas webdriver-manager

webdriver-manager 사용 시 ChromeDriver 자동 설치:

from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.service import Service

driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))