가상화폐 거래소 데이터 파이프라인 제작
과제 개요
본 프로젝트는 가상화폐 및 비트코인 시장의 실시간 데이터를 수집, 분석, 전송하는 데이터 파이프라인을 구축하는 것을 목표로 합니다. 이를 통해 사용자는 최신 가상화폐 시장 동향을 파악하고, 데이터 기반의 투자 결정을 내릴 수 있습니다.
목표
- 가상화폐 거래소의 실시간 가격 정보 및 거래량 데이터 수집
- 수집된 데이터의 텍스트 마이닝 및 시각화를 통한 인사이트 제공
- 사용자에게 맞춤형 정보 전송을 위한 메시지 API 활용
- FastAPI를 사용한 실시간 데이터 조회 및 분석 결과 제공 API 구축
도구 및 기술
- 텍스트 마이닝: Python의 NLTK, TextBlob 라이브러리를 활용한 데이터 분석
- 크롤링: Python의 BeautifulSoup, Requests 라이브러리를 사용한 웹 크롤링
- 메시지 API: Slack, Telegram, 카카오톡 중 선택하여 크롤링 결과 전송
- 시각화: Matplotlib, Seaborn 등을 사용한 데이터 시각화
- FastAPI: Python 기반의 빠르고 간편한 API 개발 프레임워크
개발 프로세스
- 데이터 크롤링:
- 가상화폐 거래소의 공식 API 및 웹페이지를 대상으로 실시간 가격 정보 및 거래량 데이터를 크롤링합니다.
- 크롤링한 데이터는 pandas DataFrame으로 가공하여 처리합니다.
- 데이터 분석 및 시각화:
- 텍스트 마이닝 기법을 적용하여 시장 동향, 주요 거래 정보 등을 분석합니다.
- 분석 결과를 바탕으로 시각화하여 사용자가 쉽게 이해할 수 있는 형태로 제공합니다.
- 메시지 API를 통한 정보 전송:
- 사용자의 선호도 및 관심사에 맞춰 맞춤형 정보를 제공하기 위해 메시지 API를 활용합니다.
- 크롤링 및 분석 결과를 정기적으로 또는 사용자 요청 시 전송합니다.
- FastAPI를 사용한 데이터 조회 및 분석 결과 제공 API 구축:
- 사용자가 웹이나 모바일 애플리케이션을 통해 실시간 데이터 조회 및 분석 결과를 요청할 수 있는 API를 개발합니다.
- FastAPI를 활용하여 개발 시간을 단축하고, 높은 성능의 API를 제공합니다.
- 스케줄링 및 자동화:
- 크롤링 및 데이터 분석 작업을 자동화하기 위해 Python의 APScheduler 라이브러리를 사용합니다.
- 사용자가 설정한 시간에 따라 자동으로 데이터를 수집하고 분석 결과를 전송합니다.
이 프로젝트를 통해 가상화폐 시장의 다양한 데이터를 실시간으로 분석하고, 사용자에게 가치 있는 정보를 제공하는 것을 목표로 합니다. 가상화폐 시장의 빠른 변화에 대응하여, 사용자가 데이터에 기반한 정확한 투자 결정을 내릴 수 있도록 지원합니다.
AI가 재밌는 걸