데이터 파이프라인 구축하기

데이터 파이프라인이란? 한마디로 언제든지 필요한 데이터를 가져와 꺼내 쓸 수 있도록 데이터를 계속 쌓아두는 파이프를 만드는 것이라고 보면된다. 데이터 파이프라인 사용 예시 파이프를 한 번 만들고 나면(배수관 파이프를 생각해보자, 여기서 데이터는 배수관 안으로 흐르는

아파치 카프카는 링크드인에서 처음 개발되었고, 대용량, 대규모 메시지 데이터를 빠르게 처리하도록 개발된 메시징 플랫폼이다.데이터 파이프라인을 구축할 때 가장 많이 고려되는 시스템 중 하나이다.Netflix, Airbnb, 카카오, 네이버 등의 주요 기업들에서 사용하고

Glue란? AWS Glue는 완전 관리형 ETL(추출, 변환 및 로드) 서비스로, 간단하게 여러 데이터 스토어 및 스트림 간에 원하는 데이터를 분류, 정리, 보강, 이동한다. AWS Glue는 서버리스이므로 설정하거나 관리할 인프라가 없다. Glue 구성 AW