[이론편]AI 구현 프로세스 - 데이터 수집

1. 수집할 데이터의 종류

• 내부 데이터
  • 업무 영역 내부
  • 데이터 수명주기 관리가 용이
  • 민간 점보 포함
  • 서비스(인증, 거래), 네트워크(방화벽, 시스템), 마케팅(VOC, 판매정보)
• 외부 데이터
  • 소셜(SNS, 커뮤니티), 공공(의료, 지역, 기상정보)
  • 외부 시스템
  • 공개된 데이터
  • 편향성 확인 필요

2. 데이터 수집 방식

• 크롤링
• RSS(Rich Site Summary)
• Open API
  • 공개 API
• 스트리밍
  • 실시간 수집

3. 편향과 결측치에 대한 이해

• AI가 학습 가능한 데이터로 활용하려면?
  • 1. 분석목적에 부합
  • 2. 대표성을 가진 데이터
  • 3. 충분히 많고 깨끗한 데이터 수집
    • 깨끗한 데이터란?
    • 편향 X, 결측치 X