[python] 고급 세션 1

웹 크롤링

• Requests 로 웹 페이지 요청 보내기
• BeautifulSoup 사용해 파싱 후 데이터 추출
• 추출 후 csv.

웹크롤링이란?
웹 페이지의 데이터를 자동으로 수집하는 기술, 웹사이트 데이터 효율적으로 모을 수 있다.

• 비정형 데이터 정형데이터로 변환,
• 특정 웹사이트 탐색하여 데이터 수집, 이를 분석하거나 저장할 수 있도록 도와준다ㅣ.

데이터분석가에게 웹크롤링이란?

• 회사 외부에서 데이터를 가져와야 할 니즈가 있음 (크롤링)
• 경쟁사, 시장조사 할 떄 웹 크롤링 통해서 많이 쌓기도 함.

http request를 에뮬레이트 하는 거. 행위를 따라하는거.

ctrl + shift + C
눌러서 가져올 수 있음

copy selector 를 가져오면 돼요.

api rate limiting?

웹크롤링 해야할 땐 해야겠지만
사용하진 않을 거임.