데이터파이프라인

국비 6개월 과정을 끝내고 데이터파이프라인에 대해 더 깊게 공부가 필요하여 여러 강의를 찾아봤다 LG U+ 현직자, 데이터엔지니어 현업 실무자한테도 자문을 구했다 고르고 골라 인프런 실리콘밸리 데이터 리더가 알려주는 Airflow 기초 를 선택했다. 이유는 커뮤니티

Docker Volume이란?Docker Container와 호스트 시스템(Docker가 동작하는 컴퓨터)이 특정 폴더를 공유Container가 사라지더라도 데이터는 남게 하는 것!양쪽의 장점 활용docker exec -it name 또는 container ID she

Connections 호스트 이름, 포트 번호, 계정 정보 등 다른 시스템과 연결 관련 정보를 저장하는데 사용한다. 장점 소스 코드내에 민감한 정보를 하드코딩할 필요가 없다 관련 정보들을 한 군데서 관리할 수 있어서 편하다 사용하는 방법 Airflow 웹 페이지에서

코드 설명Xcom을 사용하여 코드를 작성했을 때 tasks test 명령어를 사용할 수 없다는 제약이 있어 파일경로를 만들어두고 각 태스크가 독립적으로 테스트 시행해볼 수 있도록 코드를 작성함장점 : 독립적으로 코드를 디버깅해볼 수 있음단점 : 코드 실행이 길어질 수

DAG를 실행했을 때 처리하는 속도가 느림레코드를 적재할 때 INSERT INTO를 하면 레코드가 하나씩 적재되기 때문에 비효율적임DB에서 보통 대량 처리 전용 엔진을 제공하는데 DB가 내부적으로 한 번에 읽고, 한 번에 기록하고, 한 번에 인덱스 정리를 해준다.sno

최근 시작한 미니프로젝트에서 파이프라인을 만들다보니 ETL보다 ELT가 효율적일 거 같아서 구상을 하던중 DBT라는 것을 알게 되었다. 그래서 이번 기회에서 DBT에 대해 배우게되었다. DBT 등장배경 과거 과거 온프레미스 DW을 많이 사용하던 시절, 디스크는 비

SQL 코드 내에서 반복되는 로직을 재사용 가능한 함수로 변환하여 데이터 변환 작업의 효율성을 높여주는 도구이 기능은 jinja 템플릿 언어를 활용하여 작성된 것이며, 실제 쿼리가 실행되기 전인 컴파일 단계에서 SQL텍스트로 치환되어 복잡한 연산을 정형화하고 중복 코드

데이터브릭스를 사용하여 OTT서비스 데이터를 활용한 간단한 JOB(스케줄러)를 만들어보았습니다테이블은 콘텐츠메타데이터, 시청로그, 사용자 정보가 있다이를 사용하여 "12월 나라별 가장 많이 시청한 장르가 무엇인지 찾아보기"입니다서로 다른 형태로 들어오는 걸 수집해 각각