오전 수업

개요

• 목적: 9월 25일자 수업을 이해하자
• 범위: 웹 크롤링? 까지

🎯 목표 (Milestones)

• M1: 오전 수업 이해및 복습

아키텍처 & 구성

• 구성: vmware 가상화 설-> F12 기능소개

작업 목록 (Tasks)

F12 개발자 도구를 사용해 네트워크 탭에 들어가 전송되는 데이터를 살펴보자

드림핵사이트에 들어가 F12를 눌러 살펴보니 css 코드및 데이터들이 전송되는걸 확인가능하다.

실시간으로 데이터들이 전송되는걸 확인가능하다.

강사님 말씀; 개발자 도구, Fiddle(웹트래픽 도구)등은 익숙해지는것이 좋다고 말씀 하셨다.
찾아보고 많이 써보아야겠다.

이렇게 눌러서도 주소와 리퀘스트 메소드 등을 확인도 가능하고

스테이터스 코드또한 확인 가능하다.

naver에서 F12를 눌러 아이디와 비번을 입력했을때 어떤값이 전송되는 확인 해보자

강사님 말씀: 중점적으로 보셔야할 부분은 내가 입력한 값이 평문 그대로 전송되는지, 암호화된 값이 가는지

참고: 로그 한번에 지우는거 커맨드(컨트롤)+L
preserve log = 웹페이지가 이동되어도 로그를 초기화하지 않고 남기는 기능

Rreserve Log 키고 (로그인하면 웹페이지가 이동되면서 로그가 초기화됨)

아이디: abcd
비번: 12345678
을 해보자

저기서 확인이 가능한데 비밀번호는 암호화가 되어있는것을 확인가능하다.
(eccpw)

js코드또한 복호화가능
웹 특성상 js코드를 노출시킬수밖에 없기때문

Elements

여기서 html코드및 요소들 변경도 가능하다.

웹 크롤링

정의: 조직적, 자동화된 방법으로 웹 사이트를 탐색하는 행위 정도로 생각하자.

• Q1: 8가지, GET은 URL뒤에 ? 붙이는 방식, URL에 데이터 노출
  POST는 HTTP Body에 데이터 전달방식
  데이터 노출 x
• Q2: 클라이언트는 요청자/ 서버는 응답자
• Q3: 페이지 전체를 새로고침하지 않고, 비동기적으로 서버와 데이터를 주고받을 수 있는 기술
• Q4: Static은 내용이 고정 사용자 요청에 따라 변화 x, 속도 빠름
  Dynamic은 서버에서 요청마다 새로 생성
  DB연동, 사용자 입력에 따라 내용 변화
• Q5: WebSocket은 실시간 양방향 통신 프로토콜
  크롤링은 일반적으로 HTTP 요청/응답 기반으로 수행, WebSocket 기반은 WebSocket 프로토콜 따로 파싱해야 크롤링 가능
• Q6: 웹사이트의 최상위 디렉토리에 존재하는 파일.
  검색 엔진 크롤러에게 어떤 페이지는 수집해도 되고, 어떤 페이지는 제외해야 하는지 규칙을 제공.
• Q7: 웹 브라우저나 크롤러가 서버에 요청을 보낼때 자신의 정보를 포함하는 문자열,
  서버는 보고 디바이스,브라우저별로 다른 페이지 제공가능

IP파싱 사이트

python 기초 수업

Quiz

아래코드에서 print(type(a))를 실행했을때 int가 나오게 하기

a = 2.1 + 3.5
print(a)
print(type(a))

정답:

a = 2.1 + 3.5
print(a)
a = int(a)
print(type(a))

참고

pycharm 단축어

커맨드(윈도우는 컨트롤) / :
지정한곳 주석처리

커맨드(윈도우는 컨트롤) D:
한줄 복사

Quiz: a,b,c, 값의 평균을 실수형태로 출력하세요

a = 80
b = 70
c = 55

a = 80
b = 70
c = 55

avg = (a + b + c) / 3
print(avg)
# 방법1 round
avg2 = round(avg, 1)
print(avg2)
# 방법 2 포맷 스트링
print(f"{avg:.1f})

이렇게 해결할수 있겠다.

관련 리소스

• 강사님 자료

느낀점& 배운점&나아가야할점

• 느낀점: 아는것들 복습하는 느낌이라 뭉쳐지는 느낌이다!
• 배운점: 웹 통신에 대해 여러가지 복습하여 잊혀진것들이 다시 떠올랐다.
• 나아가야할점: 풀스텍 복습좀 해야겠다...