22.09.28 3주차 웹개발 개발일지

파이썬

: 매우 직관적인 언어. (들여쓰기가 중요 / 우클 실행)

• 파이썬 기초문법
  1) 변수 & 기본연산
  2) 자료형 - (숫자,문자형 / 리스트형 / Dictionary형 / Dictionary와 List 조합형)
  3) 함수
  4) 조건문 - (if/else)
  5) 반복문 - (리스트와 함께 쓰임)

Tab을 한게 내용물이라고 생각함. 들여쓰기!!!!잘하자
.append 리스트 추가

가상환경 (virtual environment)

: 같은 시스템에서 실행되는 다른 파이썬 응용 프로그램들의 동작에 영향을 주지 않기 위해, 파이썬 배포 패키지들을 설치하거나 업그레이드 하는 것을 가능하게 하는 격리된 실행 환경.

• 패키지 사용해보기.
  Requests 라이브러리 사용해보기.
  서울시 대기 OpenAPI에서 미세먼지 값 가져오기. /모든 구의 값 찍어줄 때

  import requests # requests 라이브러리 설치 필요
  r = requests.get('http://spartacodingclub.shop/sparta_api/seoulair')
  rjson = r.json()
  gus = rjson['RealtimeCityAir']['row']
  for gu in gus:
  	(if gu['IDEX_MVL'] < 60:)  <- 60미만인 구만 찍어줄때
  		print (gu['MSRSTE_NM'], gu['IDEX_MVL'])
        

웹스크래핑 (크롤링)

-> beautifulsoup4

크롤링 기본 세팅

import requests
from bs4 import BeautifulSoup
# 타겟 URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)
# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
# soup이라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨
# 이제 코딩을 통해 필요한 부분을 추출하면 된다.
soup = BeautifulSoup(data.text, 'html.parser')

영화제목 가져오기 (select / select_one)

import requests
from bs4 import BeautifulSoup
# URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)
# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
soup = BeautifulSoup(data.text, 'html.parser')
# select를 이용해서, tr들을 불러오기
movies = soup.select('#old_content > table > tbody > tr')
# movies (tr들) 의 반복문을 돌리기
for movie in movies:
# movie 안에 a 가 있으면,
a_tag = movie.select_one('td.title > div > a')
if a_tag is not None:
# a의 text를 찍어본다.
print (a_tag.text)

• 항상 정확하지는 않으나, 크롬 개발자도구를 참고할 수도 있습니다.

1. 원하는 부분에서 마우스 오른쪽 클릭 → 검사
2. 원하는 태그에서 마우스 오른쪽 클릭
3. Copy → Copy selector로 선택자를 복사할 수 있음

   가로선 없애는 방법
   : a=movie.select_one(' ')
   if a is not(!=) None:

DB

:나중에 더 잘 찾아쓰기 위해 만듬. Index 순서로 데이터들이 정렬되어 있음.

• DB 종류
  1) SQL (RDBMS)
  : 행 / 열의 생김새가 정해진 엑셀에 데이터를 저장하는 것과 유사.
  정형화 되있음 -> 데이터 일관성 / 분석에 용이 ex) MS-SQL, My-SQL 등
  2) No - SQL
  : 딕셔너리 형태로 데이터 저장해두는 DB.
  데이터 하나마다 같은 값을 가질 필요가 없음.
  자유로운 형태 ->데이터 적재에 유리 / 일관성이 부족할 수 있음. ex) MongoDB
  => 요즘은 cloud형태로 제공해주는 곳들도 많음. (트렌드/ 유저가 몰리거나, DB를 백업해야 하거나, 모니터링 하기가 아주 용이함.)

MongoDB

: pymongo, dnspython 패키지 설치

pymongo 기본 코드

from pymongo import MongoClient
client = MongoClient('여기에 URL 입력')
db = client.dbsparta

Pymongo로 DB 조작하기

# 저장 - 예시
doc = {'name':'bobby','age':21}
db.users.insert_one(doc)
# 한 개 찾기 - 예시
user = db.users.find_one({'name':'bobby'})
# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)
all_users = list(db.users.find({},{'_id':False}))
# 바꾸기 - 예시
db.users.update_one({'name':'bobby'},{'$set':{'age':19}})
# 지우기 - 예시
db.users.delete_one({'name':'bobby'})