평소에 많이 하는 업무 중에 ETL(Extact, Transform, Load)이 상당하다.
이러한 업무는 때로는 지겹기도 하다.
잘 몰랐는데 이러한 것들을 해결해주는 것이 바로 데이터 파이프라인 인것 같다.
데이터 파이프라인은 시작은 왜, 어디에서, 어떻게 데이터를 수집할 것인가에서 부터 시작한다.
데이터 파이프라인을 구축하기 위해서는 여러 소프트웨어적인 수동 작업들을 제거해야하며 Data가 각 지점을 순조롭게 흐르도록 만들어야 한다. Data의 추출, 변경, 결합, 검증 그리고 적재 하는 과정들을 자동화하는 것이다. 또한 여러 데이터 스트림을 한번에 처리해야 한다. 이 모든 과정을 오늘날 data-driven enterprise에서 필수적이다.
위의 내용을 읽으면서 이러한 생각이들었다.
'고생 끝, 행복 시작?'
'응 아니야'
너를 위한게 아니라 데이터가 빵빵한 곳을 위한 것이 데이터 파이프라인이란다.
Daily Coding