프로젝트 회의 내용

프로젝트 주제 및 데이터

• 인천 출발 항공편 데이터를 활용한 세계 날씨, 환율 비교
• 데이터
  • 항공편 데이터
  • 환율 데이터 (출처 : 한국 수출입 은행)
  • 날씨 데이터 (출처 : 오픈웨더)

프로젝트 사용 기술

[사용 기술]

• DB : snowflake
• ETL 및 ELT : Airflow
• 협업 툴 : Github
• 대시보드 : preset.io

[협의 내용]

• 서버는 구축하지 않고 개인 local에서 진행
• docker-compose, dag 등 기타 환경은 github을 통해 공유
• variable, connection은 보안의 문제가 있으므로 방안이 필요
  • github의 secret
  • dw에 저장
  • 파일을 slack으로 공유
• data warehouse는 snowflake 사용

1일차 담당 업무

• snowflake & preset.io 세팅
• 환율 데이터 구조 파악 및 schema 고려
• 나라, 도시별 코드 정리

느낀 점

사실 이번에 세팅하면서 어려웠던 점은 없었다.
내일 ERD를 구성하고 직접 DAG를 작성하는 과정에서 어려움이 있을 것 같다. 하나씩 차근차근 해나가보자구!