[실전프로젝트] 1일

Gi Woon Lee·2024년 9월 11일
1

TIL

목록 보기
62/78

프로젝트 1일차 TIL

아이디에이션 진행

  • 주제 선정: 오물풍선의 경로 예측 및 피해 분석으로 잠정 결론.
  • 목표: 오물풍선이 비대칭 무기로 전환되었을 때 피해를 시각화하여 선제적 알림 서비스를 제공.

주요 논의 사항

  • 예측도 시각화: 오물풍선의 경로 예측 및 시각화 자동화.
  • 추정치 계산: 추정치를 계산하고 주식 데이터와 병합하여 분석.
  • 서비스 활용: BigQuery, Kepler 등 다양한 데이터 서비스 사용 검토.
  • 출발지 예측 문제: Y값이 없어서 출발지 예측이 어려운 상황.
  • 데이터 수집: 크롤링의 난이도가 예상보다 높고, 원하는 형태로 수집되지 않을 가능성.

역할 분담

  • 크롤링 담당: 뉴스 데이터를 수집.
  • 전처리 및 데이터 조인: 데이터 정제 및 외부 데이터 결합.
  • EDA 및 시각화: Tableau로 탐색적 데이터 분석과 시각화.
  • 머신러닝: 여유가 있을 경우 예측 모델 개발.

앞으로의 계획

  • 파이프라인 구축: 데이터 수집부터 시각화까지 자동화되는 파이프라인 개발.
  • 데이터 최종화: 2-3일 내 최종 데이터 셋 완성 목표.

개념 정리

  1. 오물풍선: 잠재적 비대칭 무기로 간주될 수 있는 오물투척 장치. 경로 예측 및 피해 분석이 핵심.

  2. 비대칭 무기: 전통적 군사력 대비 적은 자원으로 큰 피해를 줄 수 있는 무기나 수단.

  3. 파이프라인: 데이터 수집부터 분석 및 시각화까지 자동으로 이어지는 일련의 과정.

  4. Kepler.gl: 대규모 지리공간 데이터를 시각화하는 오픈소스 도구.

  5. BigQuery: Google Cloud의 대규모 데이터 분석 플랫폼으로 빠른 SQL 쿼리 수행이 가능.

  6. EDA (탐색적 데이터 분석): 데이터의 주요 특성을 요약하고, 패턴이나 이상치를 파악하는 초기 분석 단계.

필요한 정보는 이렇게 정리하면 될 것 같아.

0개의 댓글