[P1] 실시간 데이터 파이프라인 구축 프로젝트

ehwnghks·2023년 2월 8일
0

23년도 첫 사이드 프로젝트를 진행해보고자한다.

기본적인 아키텍처는 다음과 같다.

프로젝트 개요
1. 데이터 수집: 트위터 API, 구글 API 등을 이용하여 실시간 데이터를 수집합니다.
2. 데이터 적재: 수집한 데이터를 데이터베이스(ex: Apache Cassandra, Amazon DynamoDB)에 적재합니다.
3. 데이터 처리: 적재된 데이터를 가공하여 특정한 형태로 변환합니다. (ex: Apache Spark, Apache Flink)
4. 데이터 시각화: 처리된 데이터를 웹 기반으로 시각화 툴(ex: D3.js, Chart.js)를 이용하여 화면에 보여줍니다.

수집 -> 적재 -> 처리 -> 시각화 단계별로 진행할 예정이며
각 단계에서 사용할 툴이나 기술은 구축하며 수시로 바뀔듯 하다.
23년 화이팅해보자.

profile
반갑습니다.

0개의 댓글