웹개발 종합반 3주차(3)

배운 것

• DB에 대한 것, mongoDB 연결, pymongo로 DB조작하기

DB

• DB는 데이터를 잘 뽑아쓰기 위해서 쓴다.
• DB는 크게 두 가지 종류로 나뉜다. SQL(행/열이 정해진 칸이 있어서 데이터를 정해진 대로 정리, 데이터의 일관성이나 분석에 용이함)/NoSQL(데이터를 들어오는 대로 딕셔너리 형태로 정리함. 자유롭게 적재할 수 있지만, 일관성이 부족함)
• DB는 데이터를 잘 쌓고 잘 가져오게 하는 프로그램 같은 것이다. 하지만 Cloud 형태로 제공해주는 곳들이 많음.
• mongoDB 시작 및 설치는 별도 정리 안하겠음(왜냐면 다시 봐도 모를 것 같고 다시 실습도 못 해...)

mongoDB 연결하기

• 접속하기(패키지 : pymongo, dnspython)
  아래 코드 입력 후, MongoDB-Browse Collections 들어가면 데이터 입력된 것을 확인할 수 있다.

from pymongo import MongoClient
client = MongoClient('mongodb+srv://test:<password>@cluster0.v5xcr.mongodb.net/Cluster0?retryWrites=true&w=majority') 
							#mongoDB의 Atlas 화면에서 Connect-Connect your application  , password 바꾸고, myFirstDatabase-> Cluster0으로
db = client.dbsparta

doc = {'name':'bob','age':27}

db.users.insert_one(doc)

pymongo로 DB조작하기

• pymongo 주요 코드 -> dbprac으로 저장해놓음.

# 저장 - 예시
doc = {'name':'bobby','age':21}
db.users.insert_one(doc)

# 한 개 찾기 - 예시
user = db.users.find_one({'name':'bobby'})

# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)
all_users = list(db.users.find({},{'_id':False})) //조건 없이 모두 다 불러오는 것이여서 {}

# 바꾸기 - 예시
db.users.update_one({'name':'bobby'},{'$set':{'age':19}})

# 지우기 - 예시
db.users.delete_one({'name':'bobby'})

크롤링 결과 저장하기

• DB에 저장하기

import requests
from bs4 import BeautifulSoup

from pymongo import MongoClient
client = MongoClient('mongodb+srv://test:sparta@cluster0.v5xcr.mongodb.net/Cluster0?retryWrites=true&w=majority')
db = client.dbsparta

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')


movies = soup.select('#old_content > table > tbody > tr')

for movie in movies:
    a = movie.select_one('td.title > div > a')
    if a is not None:
        title = a.text
        rank = movie.select_one('td:nth-child(1) > img')['alt']
        star = movie.select_one('td.point').text
        doc = {
            'title':title,
            'rank':rank,
            'star':star
        }
        db.movies.insert_one(doc)
        // doc 부분을 추가해서 movies DB에 등록한 것임

• '가버나움'의 평정과 같은 평점의 영화제목들을 가져오기(find 쓰면 됨)
  리스트 항목이 여러개면 for문 돌려야 하는 것인가?

from pymongo import MongoClient
client = MongoClient('mongodb+srv://test:sparta@cluster0.v5xcr.mongodb.net/Cluster0?retryWrites=true&w=majority')
db = client.dbsparta

star = db.movies.find_one({'title':'가버나움'})['star']
print(star)

same_movie = list(db.movies.find({'star':star},{'_id':False}))
for m in same_movie:
    print(m['title'])

• '가버나움'영화 평점을 0으로 만들기

db.movies.update_one({'title':'가버나움'},{'$set':{'star':'0'}})
# 문자열 0이기 때문에 " "를 꼭 붙여줘야 한다

느낀점
두 번째 들으면 조금 알 것 같긴 하지만, 아직도 퀴즈를 혼자 풀기는 버겁다. 이 정도로 부트캠프 들어가서 견딜 수 있을까? 거기는 퀴즈처럼 답지가 있는 것도 아닐텐데... 고민이다.