[00] Web

고근호·2023년 9월 6일
웹크롤링

Web

# Index

  • Server & Client Architecture
  • URL
  • Get & Post
  • Internet
  • OSI 7 Layer
  • cookie & session & cache
  • Web Status Code
  • Web Language & Framework
  • Spider & Bot & Scraping & Crawing

# Server & Client Architecture

  • Client

    • 브라우져를 통해 서버에 데이터를 요청

  • Server

    • Client가 데이터를 요청하면 요청에 따라 데이터를 전송

# URL

  • https:// - Protocol
  • news - Sub Domain
  • naver.com - Domain
  • 80 - port
  • /main/ - path
  • read.nhn - page
  • ?mode=LSD&mid=shm&sid1=105&oid=001=0009847211 - query
  • #da_727145 - fragement

# Get & Post

  • Get

    • Url 에 데이터가 포함된다 ➔ 데이터가 노출
    • 길이 제한이 있음

  • Post

    • Body 에 데이터가 포함된다 ➔ 데이터가 숨겨짐

# Internet

  • 인터넷이란?

    • 인터넷은 컴퓨터로 연결하여 TCP/IP (Transmission Control Protocol/Internet Protocol) 라는 통신 프로토콜을 이용해 정보를 주고받는 컴퓨터 네트워크

  • 우리는 인터넷을 어떻게 사용하고 있을까?

    • 해저케이블을 이용하여 전세계 서버에 접속하여 인터넷을 사용하고 있다.

  • 무선인터넷

    • 선이 아니라 주파수롤 매체로 사용한다.
    • 우리가 사용하는 단말기만 무선이다.

# OSI 7 Layer

  • Open System Interconnection Reference Model

    • 국제표준화기구(ISO) 에서 개발한 모델로, 컴퓨터 네트워크 프로토콜 디자인과 통신을 계층으로 나누어 설명한 것이다.
    • 하위 계층으로 갈수록 페이로드 증가.

# Cookie & Session & Cache

    • Client 에 저장하는 문자열 데이터로 도메인 별로 따로 저장
    • 로그인 정보, 내가 봤던 상품 정보, 팝업 다시보지 않음
    • 하나의 클라이언트에 300개, 도메인당 20개, 쿠키 하나당 4Kbyte

  • Session

    • Server 에 저장하는 객체 데이터, 브라우져와 연결시 Session ID 생성
    • Session ID 를 Cookie 에 저장함으로 로그인 연결 유지
    • 같은 브라우저로 같은 서버에 접속하면 Session ID 가 같음
    • 로그인 연결 정보, 원하는 객체 데이터

  • Cache

    • Client 나 Server 의 메모리에 저장하여 빠르게 데이터를 가져오는 목적의 저장소

# HTTP Status Code

  • 서버와 클라이언트가 데이터를 주고 받으면 주고 받은 결과로 상태 코드를 확인할 수 있다.
  • 2xx - success
  • 3xx - redirection (browser cache)
  • 4xx - request error
  • 5xx - server error
  • http://bit.ly/2nlZM8L

# Web Language & Framework

  • Client

    • HTML
    • CSS - less, sass
    • Javascript - vue.js, react.js, angelar.js, backborn.js

  • Server

    • Python - Django, Flask
    • JAVA - Spring
    • Ruby - Rails
    • Javascript - Nodejs (Express)
    • Scala - Play

# Scraping & Crawling & Spider & Bot

  • Scraping

    • 데이터를 수집하는 작업

  • Crawling

    • 여러페이지의 특정 데이터들을 수집하고 분류하는 작업

  • Spider or Web crawler

    • 웹 데이터를 수집하는 소프트웨어

  • Bot

    • 인터넷 상에서 자동화 된 작업을 실행하는 소프트웨어
profile
고근호
rootgo 매일, 꾸준히 성장하는 사람🌱
이전 포스트

[2차] 미니프로젝트 day1

다음 포스트

[2차] 데이터분석 프로젝트 day2

0개의 댓글