스파르타클럽 내일배움단7

7일차

데이터베이스

- 데이터 저장, 찾기, 바꾸기, 지우기

# 내 몽고 DB 클라이언트에 연결하는 코드
from pymongo import MongoClient
import certifi

ca = certifi.where()

client = MongoClient('mongodb+srv://test:sparta@cluster0.내주소.mongodb.net/내DB명?retryWrites=true&w=majority', tlsCAFile=ca)
db = client.dbsparta

• 저장 - 예시

doc = {'name':'bobby','age':21}
db.users.insert_one(doc)

• 한 개 찾기

user = db.users.find_one({'name':'bobby'})

• 여러개 찾기

# {} : 조건 없음, 모든 것을 찾을 것이기 때문, 조건을 넣어줄 수도 있음
# _id 값이 기본값으로 제공되서 false 조건을 주고 제외하고 출력
all_users = list(db.users.find({},{'_id':False}))

• 바꾸기

db.users.update_one({'name':'bobby'},{'$set':{'age':19}})

• 지우기

db.users.delete_one({'name':'bobby'})

- 웹스크래핑 결과 저장하기

import requests
from bs4 import BeautifulSoup

from pymongo import MongoClient
import certifi

ca = certifi.where()

client = MongoClient('mongodb+srv://test:sparta@cluster0.내주소.mongodb.net/내DB명?retryWrites=true&w=majority', tlsCAFile=ca)
db = client.dbsparta

# URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
soup = BeautifulSoup(data.text, 'html.parser')

# select를 이용해서, tr들을 불러오기
movies = soup.select('#old_content > table > tbody > tr')

# movies (tr들) 의 반복문을 돌리기
for movie in movies:
# movie 안에 a 가 있으면,
a_tag = movie.select_one('td.title > div > a')
if a_tag is not None:
  rank = movie.select_one('td:nth-child(1) > img')['alt'] # img 태그의 alt 속성값을 가져오기
  title = a_tag.text # a 태그 사이의 텍스트를 가져오기
  star = movie.select_one('td.point').text # td 태그 사이의 텍스트를 가져오기
 doc = {
    "title" : title.
    "rank" : rank,
    "star" : star,
  }
 db.movies.insert_one(doc)

- 간단 퀴즈

# 가버나움의 평점 가져오기
target_movie = db.movies.find_one({'title':'가버나움'})
print(target_movie['star'])

# 가버나움의 평점과 같은 영화 제목들 가져오기
target_movie = db.movies.find_one({'title':'가버나움'})
target_star = target_movie['star']

movies = list(db.movies.find({'star':target_star}))

for movie in movies:
    print(movie['title'])
    
# 가버나움 평점 0으로 만들기
db.movies.update_one({'title':'가버나움'},{'$set'{'star':'0'}})

- 3주차 숙제

• 지니뮤직 사이트 순위, 제목, 가수 스크래핑 하기
  ! text[0:2] : 앞에서 두 글자만 끊어 사용
  ! strip() : 옆에 여백을 지워주는 파이썬 내장 함수

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20210701',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

music = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

for m in music:
    title = m.select_one('td.info > a.title.ellipsis').text.strip()
    rank = m.select_one('td.number').text[0:2].strip()
    artist = m.select_one('td.info > a.artist.ellipsis').text
    print(rank, title, artist)