웹 크롤러는 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램이다.
HTTP
: 데이터를 주고받을 수 있는 프로토콜
1) http 구조
2) login 예제
- GET /money HTTP/1.1
-> 로그인이 안된 상태로 계좌를 확인하려고 하면,
----> HTTP/1.1 400 Unauthorized 이는 response로 <http코드 status코드 status코드에 대한 추가정보> 로 이루어져 있다.
✅status code
-> 로그인을 할때, 요청되는 부분이다.
----> HTTP/1.1 200 OK
----> Set-Cookie: JSessionId=abcd1234
✅ 하지만, 이렇게 password 정보가 담겨버리면 해킹의 위험이 크다. 그래서 https를 통해 암호화하는 과정이 필요하다.
-> 로그인 후, 계좌 확인을 하게 되면 쿠키에서 생성된 로그인 정보가 든 세션아이디를 서버에 보낼 때 그제서야 계좌 확인을 할 수 있게 된다.
---> HTTP/1.1 200 OK
---> money=15000
소켓
http는 request와 response가 반드시 주고받아야 하지만, 소켓은 그에 비해 자유롭다. 한 사람이 응답이 없어도 계속 요청할 수 있다. 채팅이라고 생각하면 된다.
브라우저
1) UI Rendering
: html 파일을 페이지로 바꾸는 작업.
2) 편의성 : 북마크 등
3) 보안 : 특정 홈페이지 차단(쿠키 허용 메세지 등)
4) 스크립트 실행(동적 기능)
: 자바스크립트 실행으로 인해 버튼을 움직일 수 있다.
웹앱과 api
1) 페이스북에서 처음에는 골격만 로딩하고 그 후에 내용을 서버에 요청한다. 이 때, 이것이 api이다. 재사용할 수 있는 것.
2) 웹앱 : 웹 기술로 구현하는 앱 / 서버에서 어떤 UI를 제공할 것인지 결정
-> 예를 들면, 미세먼지 농도에 따라 아이콘 색깔이 바뀌는데 이는 서버에서 결정한다.
크롤링 주의사항
1) robots.txt
2) 커뮤니티의 게시물의 권한은 작성자에게 있기 때문에 주의해야 한다.
출처 : 패스트캠퍼스 Python&Django로 시작하는 웹 프로그래밍
