Crawling

0. 데이터 처리 과정 > 데이터 수집 > 저장 > 처리 > 분석 > 표현 출처 1. 데이터 수집 0) 데이터의 분류 데이터는 3가지 형태로 분류됨 |데이터|특징|예시| |:---:|:---|:---| |비정형 데이터|정해진 규칙이 없고, 값의 의미를 쉽게 파악하기 힘듦|음악, 음성 데이터, 동영상| |반정형 데이터|어느 정도 규칙이 있지만, 그 규칙...

1. 크롤링 (Crawling) 크롤링(Crawling), 스크레이핑(Scraping)은 웹 페이지의 데이터를 추출하는 행위 크롤링 소프트웨어를 크롤러(Crawler)라고 부름 본 크롤링은 Python을 기반으로 함 2. urllib · request 1) 이론 urllib, request 모듈은 다이제스트 인증, 리디렉션, 쿠키등과 같은 URL이나 ...

1. BeautifulSoup 웹에서 가져온 데이터에서 원하는 특정 태그나 태그 안의 내용 등을 쉽게 파싱할 수 있도록 도와주는 라이브러리 bs를 사용하면서 중요한 것은 내가 원하는 특정 태그를 찾아서 그 값을 가져오는 것 > HTML을 잘 알아야 함 본 크롤링은 Python을 기반으로 함 1) 설치 2) 기본 사용법 > html의 전체 코드를 가져온...