📅 2026-04-30 (목)

---

✍️ 공부한 내용

데이터 수집 및 실습

데이터 수집

: 산재한 정보를 목적에 맞는 형태로 추출 및 저장 하는 과정

• 웹 데이터 수집의 장점
  • 실시간으로 업데이트되는 세상의 흐름을 즉시 반영.
  • 웹에 존재하는 방대한 정보를 내 프로젝트에 변환하여 활용 가능.
    
    
• 데이터 수집 방법
  • API : 정해진 방법을 통해 데이터를 제공받습니다
  • 스크래핑 : 웹 페이지에서 직접 추출 (긁어 오는 것)
  • 증강 데이터 : 기존 데이터로 새 데이터 생성
    
    
• 핵심 용어
  • Data Collection : 정보를 프로젝트에서 사용할 수 있는 데이터 형태로 가져오는 과정입니다
  • Crawling : 여러 웹 페이지를 자동으로 이동하며 데이터가 존재하는 페이지나 URL을 수집하는 과정입니다
  • Scraping : 특정 웹 페이지에서 필요한 데이터만 선택적으로 추출하는 과정입니다.
  • Preprocessing : 수집한 데이터르 사용 가능한 형태로 정리하고 정제하는 과정입니다
  • Data Augmentation : 기존 데이터를 기반으로 새로운 데이터를 생성하여 데이터의 양과 다양성을 늘리는 과정입니다
  • Pipeline : 데이터 수집 -> 전처리 -> 증강 -> 저장까지의 전체 흐름을 하나의 과정으로 묶은 개념입니다
    
    
• 실습 : Selenium을 활용한 실시간 데이터 수집과 LLM 데이터 증강
  -> 실습한 내용
  • 정적 페이지 크롤링
  • 동적 페이지 크롤링
  • 검색 결과 추출
  • 검색 결과 저장
  • 토스 증권 데이터 수집