# etl

9개의 포스트
post-thumbnail

Prefect 주요 구조 - Agent, UI sever

prefect 구성 요소에는 크게 UI 서버, Agent가 있다. https://docs.prefect.io/orchestration위 그림은 프리펙트 클라우드 서비스를 쓸 경우의 구조도이다. 오른쪽 cloud ui가 prefect의 UI 서버이다. Flow,

2021년 8월 16일
·
0개의 댓글
post-thumbnail

Prefect란? - Task, Flow, Parameter

airflow와 같은 workflow orchestration tool인 prefect에 대해 알아보자.prefect는 데이터 파이프라인을 구축하는데 쓰인다.데이터는 만들어질 때 작업들 간의 dependency가 있는데 이것을 관리해준다.예를 들어 매출 데이터, 유저

2021년 8월 16일
·
0개의 댓글
post-thumbnail

데이터 파이프라인 구축 - 이론

데이터 파이프라인이란? 한마디로 언제든지 필요한 데이터를 가져와 꺼내 쓸 수 있도록 데이터를 계속 쌓아두는 파이프를 만드는 것이라고 보면된다. 데이터 파이프라인 사용 예시 파이프를 한 번 만들고 나면(배수관 파이프를 생각해보자, 여기서 데이터는 배수관 안으로 흐르는

2021년 6월 22일
·
0개의 댓글
post-thumbnail

ETL (3)

💡 ETL(Extraction, Transformation, Loading)에 대해 알아보자!! - Job Scheduling(3) 🤷‍♀️

2021년 5월 11일
·
0개의 댓글
post-thumbnail

ETL (2)

💡 ETL(Extraction, Transformation, Loading)에 대해 알아보자!! (2) 🤷‍♀️

2021년 5월 10일
·
0개의 댓글
post-thumbnail

ETL (1)

💡 ETL(Extraction, Transformation, Loading)에 대해 알아보자!! 🤷‍♀️

2021년 5월 10일
·
0개의 댓글
post-thumbnail

Programmers 인공지능 데브코스 - Week 9 - 빅데이터, 하둡, 스파크

데이터 엔지니어는 데이터 웨어하우스를 만들고, 내부나 외부 데이터를 적재한다. 데이터 엔지니어가 ETL, 데이터 파이프라인을 구현한다. ETL이란 ETL(Extract, Transform, Load) - 데이터를 가져다가 데이터 웨어하우스에 로드하는 작업을 말한다.

2021년 2월 18일
·
0개의 댓글
post-thumbnail

[GCP] ETL Processing on Google Cloud Using Dataflow and BigQuery 퀵랩

오늘 할 랩은 Dataflow와 Bigquery를 이용해서 ETL Processing!1\. 시작 코드 다운로드하기자주 사용할 변수를 정해준다.2\. 스토리지 버킷 만들기 us-central1 리전에 만들어주었다.3\. 파일들을 버킷에 복사하기 4\. Big query

2021년 1월 12일
·
0개의 댓글
post-thumbnail

[AWS] Glue? 글루? ETL 서비스? 그게뭐야

자근 호기심으로 시작된다 AWS의 Security Groups을 보는데 Inbound rules에 모든 트래픽에 해당 Security Group(자기자신)을 넣어 놓은것을 보았다. 처음보는거라 왜 저렇게 했을까? 왠지 냄새가 난다. 내가 모르는 그 냄새가. 열심히 구

2020년 10월 15일
·
0개의 댓글