TIL

: 기존 TIL을 데브코스에 붙여 작성하였으나, 알고리즘, 다른 공부를 같이 작성하기 위해서 별도의 태그로 묶어 관리합니다.: https://velog.io/@pori/TIL-%EB%8D%B0%EB%B8%8C%EC%BD%94%EC%8A%A4-27%EC%9D%B

TIL

: https://velog.io/@pori/%EB%8D%B0%EB%B8%8C%EC%BD%94%EC%8A%A4-29%EC%9D%BC%EC%B0%A8-AWS-%ED%81%B4%EB%9D%BC%EC%9A%B0%EB%93%9C4AWS 실제 배포 실습AWS CI/CD

: https://velog.io/@pori/%EB%8D%B0%EB%B8%8C%EC%BD%94%EC%8A%A4-30%EC%9D%BC%EC%B0%A8-AWS-%ED%81%B4%EB%9D%BC%EC%9A%B0%EB%93%9C5AWS LambdaECS / ECR,

데이터 웨어하우스

: https://velog.io/@pori/%EB%8D%B0%EB%B8%8C%EC%BD%94%EC%8A%A4-32%EC%9D%BC%EC%B0%A8-Redshift-%EC%86%8C%EA%B0%9C-%EB%B0%8F-S3%EC%99%80%EC%9D%98-%EC

: https://velog.io/@pori/%EB%8D%B0%EB%B8%8C%EC%BD%94%EC%8A%A4-33%EC%9D%BC%EC%B0%A8-Redshift-%EC%86%8C%EA%B0%9C-%EB%B0%8F-S3%EC%99%80%EC%9D%98-%EC

: https://velog.io/@pori/%EB%8D%B0%EB%B8%8C%EC%BD%94%EC%8A%A4-33%EC%9D%BC%EC%B0%A8-Snowflakesnowflake를 활용한 데이터 웨어하우스 구축 실습Snowflake의 다양한 기능들AWS S

: https://velog.io/@pori/%EB%8D%B0%EB%B8%8C%EC%BD%94%EC%8A%A4-35%EC%9D%BC%EC%B0%A8-Dashboard-SupersetDocker를 활용하여 Superset구축 및 대시보드 실습Superset과 R

Airflow : 공부 한 내용 데이터 파이프라인 개요와 Airflow 소개 새롭게 배운 내용 데이터 파이프라인 구축 시 유의할 점 느낀점&참고 : 2차 프로젝트가 마무리 되었다. 데이터 웨어하우스 구축을 하는 등 많은 일이 있었다. 추가로 정리 예정이다.

: https://velog.io/@pori/%EB%8D%B0%EB%B8%8C%EC%BD%94%EC%8A%A4-42%EC%9D%BC%EC%B0%A8-%ED%8A%B8%EB%9E%9C%EC%9E%AD%EC%85%98%EA%B3%BC-Airflow%EC%84%A4

PythonOperator를 활용한 실습과제1) airflow.cfg과제2) 세계 나라 정보 API를 사용한 DAG 작성Airflow DAG작성방법CTAS를 활용한 DAG 파이프라인 구성connections와 variables를 활용하여 쉽고 보안이 좋게 DAG 작성하

: 데브코스 44일차 - Time, PK Uniqueness, BackfillAirflow backfillIncremental Update를 하는 코드 작성해보기timezonIncremental Update 코드 작성방법, 과제 수행backfill에 대한 이해 및 e

: 데브코스 45일차 - MySQL복사하기, BackfillAirflow와 mySQL연동 및 redshift로 copyIncremental update 방식의 코드 개선: 과제가 추가로 있었는데 강사님의 코드와 크게 다르지 않아서 다행이였다. 또한 backfill을 염

: 데브코스 46일차 - DockerDocker 구축 및 실습Dockerfile 작성방법Docker 개발 프로세스 실습: airflow를 docker 환경에서 실행하면서 docker에 대한 궁금증이 많아졌다. 특히 컨테이너들을 관리하는 K8s가 뒤에 나올텐데 얼른 공부

: 데브코스 47일차 - Docker 실습 & CI/CDDocker 이미지 작성 및 CI/CD 구성해보기Dockerfile작성Docker image를 활용하여 CI/CD구성하기: Github Actions를 이용해서 CI/CD하는 과정을 처음 접해보았다. 꽤나 편리했으

:데브코스 48일차 - Docker Compose (1): 백준 1107번 리모컨Docker Volume, docker-compose알고리즘 문제풀이Docker Volume 이용방법Docker Network 구성 실습: 예전에 mysql로 데이터를 저장하려 했는데 Co

: 데브코스 49일차 - Docker Compose (2)docker-composeairflow Docker의 docker-composedocker-compose 작성방법docker-compose.yml의 실행방법: airflow를 사용하면서 docker위에서 작동을

: 데브코스 49일차 - Docker Compose (2)docker-composeairflow Docker의 docker-composedocker-compose 작성방법docker-compose.yml의 실행방법: airflow를 사용하면서 docker위에서 작동을

: 데브코스 50일차 - Docker 정리 및 K8s맛보기(https://velog.io/@pori/%EB%8D%B0%EB%B8%8C%EC%BD%94%EC%8A%A4-50%EC%9D%BC%EC%B0%A8-Docker-%EC%A0%95%EB%A6%AC-%EB%B

: Airflow Dag CI/CD 구축기 (1)github 연결diagram 작성하기gitignore을 통해서 원하는 파일만 push하기: ignore과정에서 생각보다 많이 에러가 발생해서 시간이 많이 소모되었다…쉬는 주간이긴한데 airflow dag cicd랑 ai

: Airflow Dag CI/CD 구축기 (2)github actions 실습docker image buildairflow custom image build: Docker에 대해서 많이 안다고 생각했으나, 하나도 모르는 느낌이였다. 우선 이전 강의를 복습해보고 Ude

Airflow 실행환경, ELT, Airflow-Slack연동Google sheets 연동, AIRFLOW_REST_API 과제Airflow REST API 사용법Airflow와 slack, google sheets 연동airflow의 connections와 varia

: 데브코스 53일차 - Jinja, Dag DependenciesJinja template을 활용한 Airflow DAG작성방법Dag 의존성Dag들의 group을 만들어 실행하는 방법jinja template 사용이 가능한 파라미터를 확인하는 방법: dag들의 순서를