DL/ML

크롤링은 현행법상 불법(쓰지 말 것)

데이터 수집
데이터 전처리
탐색적 데이터 분석(결측치, 표준화, 데이터 분리, 그래프)
데이터 마이닝(분류모델 구축/회귀분석-텐서플로우)
결과보고

작업할 폴더/파일의 내pc주소창에 cmd 입력해 해당 파일, 폴더에서 cmd open하고 code를 입력해 VSCODE 실행 가능

---

JUPYTER 설치/준비

• cmd 실행
• pip install --upgrade jupyter
• 작업 폴더 위치에서 cmd 입력해 해당 파일, 폴더에서 cmd open
• cmd에서 python -m jupyter로 Python을 사용하여 Jupyter를 실행할 수 있도록 설정

JUPYTER 실행

• VSCODE에서 ctr+shift+p로 명령어 입력 창 실행
• jupyter 검색, create new jupyter로 jupyter 생성
  -- jupyter의 파일 형식은 .ipynb

chrome 준비

• 크롬 웹 스토어에서 Jupyter Notebook Viewer 설치

---

Jupyter 실습

• openapi 데이터 수집
• 웹 페이지 데이터 수집

request, beautifulsoup : 로그인을 요구하는 페이지 크롤링 불가
HTML : 내용 + 디자인
JSON : 내용만
referer : 직전에 머물렀던 페이지 정보(URL)
User-Agent : Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36