실습을 위한 웹크롤링 - 2. 요약

크롤링 기초

• 인터넷과 웹
• 웹서버와 디비
• http와 소켓
• 브라우저
• 웹앱과 api
• 크롤링 주의사항

정적 크롤링

• requests
• xml, html,json, jsonp, binary
• regex
• beautifulsoup
• css

동적 크롤링

• browser
• selenium

F12를 통해서 개발자 도구를 들어갈 수 있다. 왼쪽 상단 첫번째에 마우스 버튼이 있는데, 그것을 누르고 본문에 원하는 모양을 클릭하면 해당 html 코딩언어로 이동한다.

탭 종류

• Elements
• Console

element 탭에서 원하는 데이터의 구조, 위치 파악 후 console 탭에서 테스트 해보아야 한다.

------------------------------여기까지 중요---------------------------

• Sources
• Network
• Performance
• Memory
• Application
• Lighthouse
• Adblock Plus

GET: 요청, 값 가져오는 역할
POST: 생성, 액션
PUT: 수정, 덮어씌우기
DELETE: 삭제

response 의 줄임말로 res를 주로 사용한다.