# ELT
[프로그래머스 데브코스] 데이터 엔지니어링 8주차 월요일 TIL
ETL, ELT, Redshift, 데이터분석/처리용 고급 SQL, BI 대시보드 (1) - 데이터 팀의 역할, 조직 구성원, 데이터 웨어하우스와 ETL/ELT
[DE kit] 3. ETL/Airflow
데이터 파이프라인 (=ETL, 크게 보면 ELT) 데이터 프로세싱을 위해 실행하는 코드 ETL: Extract, Transform and Load Data Pipeline, ETL, Data Workflow, DAG <- 다 동일어 ETL (Extract, Trans
4강. Day 1-3
학습주제학습내용데이터 웨어하우스가 작을 땐 프로덕션 DB이후 클라우드 옵션 사용ResShift, 빅쿼리 등장담점에 대해 논의해본다.클라우드 옵션고정비용 옵션 (redshift)가변비용 옵션 (big query, snowflake)오픈소스는 고정비용에 가깝고정비용은 비용
[데이터 엔지니어링] ETL/ELT
먼저 ETL과 ELT에 대한 설명에 들어가기에 앞서 각각 E, T, L의 개념을 정리해 보자.Extract: 외부의 데이터 소스에서 데이터를 추출하는 단계 Transform: 데이터 포맷을 원하는 형태로 변환 Load: 변환된 데이터를 최종적으로 데이터 웨어하우스에
[DE] ETL과 ELT의 개념 (+ETLT)
1. ETL 1-1. 정의 ETL 프로세스란 여러 소스에서 데이터를 수집하고, 이를 표준화하여, 분석을 위한 데이터 웨어하우스 또는 저장을 위한 데이터베이스 또는 기타 유형의 데이터 소스에 적재하는 데이터 통합 프로세스이다. 1-2. 단계 E(Extract) : 추출
[DATA] ETL, ELT
어느정도 가치가 있고, 구조화된 데이터들이 모여있는 곳공간제약이 있어 필요한 모든 데이터를 저장하지않고, 어느정도 최근 데이터만 저장BI툴이랑 연결해서 시각화해서 지표계산하는게 일반적이다.데이터웨어하우스 기반 파이프라인보다 훨씬 큰 개념(호수)구조화된 데이터, 비구조화
Cloud Functions - GCS folder trigger
GCS to BigQuery 파이프라인 구축에서 이어지는 내용.앞의 포스팅과 같은 구조에서 'Cloud Storage에 지속적으로 쌓이는 csv파일들이 한 테이블에 계속해서 쌓이게끔 해줄 수는 없는가?'와 같은 요구조건이 있을 수 있다.ex) 한 달치 데이터가 계속해서
Cloud Functions을 사용한 GCS to BigQuery 파이프라인 구축
Cloud Storage에 들어오는 데이터를 빅쿼리로 적재하게끔 트리거를 걸 수 있는 Functions을 테스트해보았다.샘플 데이터는 Sample CSV file 에서 받았다.다운 받은 CSV(633KB)빅쿼리에 데이터 세트와 테이블, Cloud Storage에 버킷을
Cloud Run을 사용한 Pub/Sub to BigQuery 파이프라인 구축
완전 관리형 서버리스 플랫폼에서 원하는 언어(Go, Python, 자바, Node.js, .NET)를 사용하여 확장 가능하고 컨테이너화된 앱을 빌드하고 배포할 수 있는 제품이다.즉, 도커같은 컨테이너만 준비해둔다면 매우 쉽게 해당 어플리케이션을 배포할 수 있는 것이다.
Fluentd와 BigQuery를 사용한 실시간 로그 분석
Fluentd는 로그(데이터) 수집기(collector)다. 보통 로그를 수집하는 데 사용하지만, 다양한 데이터 소스(HTTP, TCP 등)로부터 데이터를 받아올 수 있다.Fluentd로 전달된 데이터는 tag, time, record(JSON) 로 구성된 이벤트로 처
[Week2] (데이터 엔지니어링이란?) 03. Data Pipeline
💡 ETL : Extract / Transform / Load. 다양한 데이터 소스로부터 데이터를 수집 및 처리하는데 사용되는 데이터 파이프라인데이터 분석가들이 분석에 사용할 데이터를 정의하게 되면, 데이터 엔지니어에게 요청을 해서 해당 데이터를 처리해주길 원한다.
Cloud Composer - ELT 파이프라인 구축
Airflow가 지원하는 Operator중 GoogleCloudStorageToBigQueryOperator를 사용해 ELT 파이프라인을 구축해볼 것이다.내 버킷을 하나 생성해준다.git clone으로 해당 리포지토리를 받은 다음 이 파일들을 gsutil cp를 통해
[DE] ETL과 ELT 비교, 5가지 주요 차이점
ETL은 데이터의 추출(Extract), 변환(Transform), 로드(Load) 프로세스를 가리킵니다.ELT는 데이터의 추출(Extract), 로드(Load), 변환(Transform) 프로세스를 가리킵니다.ETL에서 데이터는 데이터 소스에서 스테이징을 거쳐 데이터
ETL vs ELT
Extract, Transform, Load Extract > 추출 : 데이터를 분석하기 위해 테이블에서 데이터를 가져옴 Transform > 변환 : 데이터를 클라이언트 또는 개발자가 원하는 테이블로 변환 Load > 적재 : 변환 전 또는 후에 데이터를 스토리지에 저장하는 것을 의미함 ETL vs ELT? ETL : 추출 > 변환 > 적재 장점...
