# etl

13개의 포스트

[Data] 데이터 파이프라인과 ETL

평소에 많이 하는 업무 중에 ETL(Extact, Transform, Load)이 상당하다.이러한 업무는 때로는 지겹기도 하다.잘 몰랐는데 이러한 것들을 해결해주는 것이 바로 데이터 파이프라인 인것 같다.데이터 파이프라인은 시작은 왜, 어디에서, 어떻게 데이터를 수집할

2022년 1월 13일
·
0개의 댓글

[Read & Ask] How Data engineering works?(Youtube)정리

데이터 엔지니어링 관련 포스팅을 읽고 정리합니다

2022년 1월 10일
·
0개의 댓글

[Line Developer Day 2021] KSETL로 Kafka 스트림 ETL 시스템을 빠르게 구성하기

DAY1 15:00-15:20 KST Youtube linkKSETL 은 Kafka Stream ETL. 카프카로 ETL 한다는 뜻.데이터 처리 지연을 줄이기 위해 스트림 처리함. ex) 배달주문, 금융거래 사기 판별 등 사용자 컨텐츠 추천시 실시간 처리할 시 성능이

2021년 12월 15일
·
0개의 댓글

B2B Solution ( ETL, ESB, ... )

인턴 입사전 B2B solution 등을 정리..Extract Transform Load 를 나타내며 조직에서 여러 시스템의 데이터를 단일 데이터베이스, 데이터 저장소, 데이터 웨어하우스 또는 데이터 레이크에 결합하기 위해 일반적으로 허용되는 방법입니다.ETL은 기존

2021년 11월 20일
·
0개의 댓글
post-thumbnail

Prefect 주요 구조 - Agent, UI sever

prefect 구성 요소에는 크게 UI 서버, Agent가 있다. https://docs.prefect.io/orchestration위 그림은 프리펙트 클라우드 서비스를 쓸 경우의 구조도이다. 오른쪽 cloud ui가 prefect의 UI 서버이다. Flow,

2021년 8월 16일
·
0개의 댓글
post-thumbnail

[prefect] Prefect란? - Task, Flow, Parameter

airflow와 같은 workflow orchestration tool인 prefect에 대해 알아보자.prefect는 데이터 파이프라인을 구축하는데 쓰인다.데이터는 만들어질 때 작업들 간의 dependency가 있는데 이것을 관리해준다.예를 들어 매출 데이터, 유저

2021년 8월 16일
·
0개의 댓글
post-thumbnail

데이터 파이프라인 구축 - 이론

데이터 파이프라인이란? 한마디로 언제든지 필요한 데이터를 가져와 꺼내 쓸 수 있도록 데이터를 계속 쌓아두는 파이프를 만드는 것이라고 보면된다. 데이터 파이프라인 사용 예시 파이프를 한 번 만들고 나면(배수관 파이프를 생각해보자, 여기서 데이터는 배수관 안으로 흐르는

2021년 6월 22일
·
0개의 댓글
post-thumbnail

ETL (3)

💡 ETL(Extraction, Transformation, Loading)에 대해 알아보자!! - Job Scheduling(3) 🤷‍♀️

2021년 5월 11일
·
0개의 댓글
post-thumbnail

ETL (2)

💡 ETL(Extraction, Transformation, Loading)에 대해 알아보자!! (2) 🤷‍♀️

2021년 5월 10일
·
0개의 댓글
post-thumbnail

ETL (1)

💡 ETL(Extraction, Transformation, Loading)에 대해 알아보자!! 🤷‍♀️

2021년 5월 10일
·
0개의 댓글
post-thumbnail

Programmers 인공지능 데브코스 - Week 9 - 빅데이터, 하둡, 스파크

데이터 엔지니어는 데이터 웨어하우스를 만들고, 내부나 외부 데이터를 적재한다. 데이터 엔지니어가 ETL, 데이터 파이프라인을 구현한다. ETL이란 ETL(Extract, Transform, Load) - 데이터를 가져다가 데이터 웨어하우스에 로드하는 작업을 말한다.

2021년 2월 18일
·
0개의 댓글
post-thumbnail

[GCP] ETL Processing on Google Cloud Using Dataflow and BigQuery 퀵랩

오늘 할 랩은 Dataflow와 Bigquery를 이용해서 ETL Processing!1\. 시작 코드 다운로드하기자주 사용할 변수를 정해준다.2\. 스토리지 버킷 만들기 us-central1 리전에 만들어주었다.3\. 파일들을 버킷에 복사하기 4\. Big query

2021년 1월 12일
·
0개의 댓글
post-thumbnail

[AWS] Glue? 글루? ETL 서비스? 그게뭐야

자근 호기심으로 시작된다 AWS의 Security Groups을 보는데 Inbound rules에 모든 트래픽에 해당 Security Group(자기자신)을 넣어 놓은것을 보았다. 처음보는거라 왜 저렇게 했을까? 왠지 냄새가 난다. 내가 모르는 그 냄새가. 열심히 구

2020년 10월 15일
·
0개의 댓글