SKALA최종프로젝트
1.ESG 물리 기후 리스크 예측 프로젝트 - 대용량 데이터 사용
“대용량 시계열 데이터는 DB를 반복 조회하는 대신,한 번만 로드해서 Staging 영역에 저장하고, 파이프라인 내부에서는 Scratch Space(임시 디스크)에서 재사용하며,TTL 기반 자동 정리로 디스크 부하를 방지하는 구조로 설계”
2.ESG 물리 기후 리스크 예측 프로젝트 - 백엔드_비동기
대규모 계산 작업(E, V, AAL 계산 등)과 일반 API 요청이 섞여 있는 시스템에서는 비동기 처리를 도입하는 순간 동기 방식에서는 절대 겪지 않는 새로운 문제들이 튀어나온다.아래에서는 실제로 ModelOps·AI Agent 구조에서 공통으로 부딪히는 문제들을 나누
3. FastAPI에서 동기 함수 비동기로 실행하기: 이벤트 루프 블로킹 방지
FastAPI로 AI Agent를 호출하는 API를 개발하던 중, 성능 문제를 발견했습니다.이벤트 루프 블로킹: analyzer.analyze()는 동기 함수인데, async 함수 내에서 직접 호출동시성 상실: 다른 요청들이 현재 분석이 끝날 때까지 대기해야 함응답 시
4.ESG 물리 기후 리스크 예측 프로젝트 - 백엔드_서버
백엔드 구조를 정리할 때 가장 먼저 등장하는 레이어 개념이 있다. Route(Controller) / Service / Schema(DTO) / Core(Domain) 각 레이어의 역할만 정확히 알고 있어도 코드 구조가 훨씬 깔끔해진다.HTTP 요청을 받고, 어떤 서비
5.ESG 물리 기후 리스크 예측 프로젝트-인프라_서버
Cloudflare?Nginx?Docker?k8s?를 알아보자
6.Cloudflare + Nginx Proxy Manager로 SSL 설정하기
백엔드 API를 배포하고 Swagger UI를 외부에서 접근 가능하게 하려다가 SSL 설정으로 한참을 헤맸다. Cloudflare와 Nginx Proxy Manager를 함께 쓰면서 발생한 여러 오류들과 해결 과정을 기록한다.Domain: api.on-do.site (
7.PostgreSQL Connection Pool 부재로 인한 병렬 처리 멈춤 문제 해결
사용자가 사업장 리스크 계산 API를 여러 번 호출했지만, 계산이 시작은 되나 완료되지 않고 멈춰버리는 문제가 발생했습니다.계산 시작 로그는 있지만 완료 로그가 없음경고 메시지만 반복되고 실제 계산이 멈춤에러 로그도 없이 조용히 멈춤문제점:매번 psycopg2.conn
8.APScheduler 배치 작업 Instance Hang 문제 해결
배치 작업 실행 시 다음과 같은 경고가 발생하며 작업이 skip됨:특이사항:실제로 배치 계산이 실행 중이지 않음ps aux 확인 결과 배치 프로세스가 없음하지만 APScheduler는 여전히 인스턴스가 실행 중이라고 판단새로운 배치 작업을 실행할 수 없음APSchedu
9.PostgreSQL 쿼리 최적화 2편: LATERAL JOIN의 함정과 해결
1편에서 250개의 쿼리를 1개로 줄이는 최적화를 진행했습니다.성능은 극적으로 개선되었지만... 새로운 문제가 발생했습니다.각 행정구역마다 2025, 2030, 2035, ..., 2095, 2100년 (16개 연도) 데이터 필요클라이언트는 연도별 시계열 그래프를 그려