[22.10.08]today I learned

today I learned
00.파이썬
1. 파이썬 기본 문법
2. 파이썬 request 라이브러리
3. 웹스크랩핑(크롤링) 기초
4. MongoDB
5. MongoDB DB 조작하기
6. 크롤링 결과 저장하기

1. 파이썬 기본 문법
1-1) 함수

def f(x):
	return 2*x+3

1-2) 조건문

def oddeven(num):  
	if num % 2 == 0: 
		 return True   
	else:           
		 return False 

def is_adult(age):
	if age > 20:
		print('성인입니다')  
	else:
		print('청소년이에요')

1-3) 반복문

• 파이썬에서의 반복문은, 리스트의 요소들을 하나씩 꺼내쓰는 형태
• 즉, 반복문은 무조건 리스트와 함께 쓰인다

fruits = ['사과','배','감','귤']

for fruit in fruits:
	print(fruit)

fruits = ['사과','배','배','감','수박','귤','딸기','사과','배','수박']

count = 0
for fruit in fruits:
	if fruit == '사과':
		count += 1

print(count)

2. 파이썬 request 라이브러리
2-1) request 라이브러리 기본

import requests 

r = requests.get('API URL')
rjson = r.json()

2-2) request로 API 내용 가져와서 for 구문을 통해 원하는 것만 뽑아보기

import requests # requests 라이브러리 설치 필요

r = requests.get('API URL')
rjson = r.json()

gus = rjson['RealtimeCityAir']['row']

for gu in gus:
	if gu['IDEX_MVL'] < 60:
		print (gu['MSRSTE_NM'], gu['IDEX_MVL'])

3. 웹스크랩핑(크롤링) 기초
3-1) beautifulsoup4 라이브러리 깔기

bs4

3-2) beautifulsoup을 활용한 크롤링 기본 세팅

import requests
from bs4 import BeautifulSoup

# URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('크롤링할 URL',headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
soup = BeautifulSoup(data.text, 'html.parser')

3-3) 내용 가져오기

• 주의점 child의 바로 앞까지 가져와야함!
• 가져와야 할 큰 무더기 : soup.select('')
• for을 돌려 하나 하나 가져 올 내용 : movie.select_one('')
• --- 을 삭제하고 싶다면 :
• 딱 필요한 부분 :
  1. a.text : 내용 값
  2. a['속성'] : 속성 값

if a_tag is not None:
     print (a_tag.text)

# select를 이용해서, tr들을 불러오기
movies = soup.select('#old_content > table > tbody > tr')

# movies (tr들) 의 반복문을 돌리기
for movie in movies:
    # movie 안에 a 가 있으면,
    a_tag = movie.select_one('td.title > div > a')
    if a_tag is not None:
        # a의 text를 찍어본다.
        print (a_tag.text)

4. MongoDB

• 파이썬과 연결하기위해 라이브러리 설치

pymongo, dnspython

4-1) pymongo로 조작하기

• 기본코드

from pymongo import MongoClient
client = MongoClient('여기에 URL 입력')
db = client.dbsparta

• 노드몽에 데이터 잘 들어가는지 확인 / Cluster0의 Collections를 확인

doc = {
    'name':'AN',
    'age':31
}

db.users.insert_one(doc)

5. MongoDB DB 조작하기
5-1) 데이터 입력하기

doc ={'name':'choi','age':31}
db.users.insert_one(doc)

5-2) 데이터 모든값 가져오기

all_users = list(db.users.find({},{'_id':False}))
for user in all_users:    
    print(user)

5-3) 특정 데이터 가져오기

user = db.users.find_one({'name':'choi'})

5-3) 특정 데이터 수정하기

db.users.update_one({'name':'choi'},{'$set':{'age':10}})

5-4) 특정 데이터 삭제하기 (거의 안씀)

db.users.delete_one({'name':'choi})

6. 크롤링 결과 저장하기
6-1) BeautifulSoup, requests, pymongo 함께 써보기

import requests
from bs4 import BeautifulSoup

from pymongo import MongoClient
client = MongoClient('몽고디비')
db = client.dbsparta

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('크롤링 URL',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

6-2) 크롤링한 것 몽고 디비에 넣어보기

# select를 이용해서, tr들을 불러오기
movies = soup.select('#old_content > table > tbody > tr')

# movies (tr들) 의 반복문을 돌리기
for movie in movies:
    a_tag = movie.select_one('td.title > div > a')
    if a_tag is not None:
        rank = movie.select_one('td:nth-child(1) > img')['alt'] 
        title = a_tag.text                                     
        star = movie.select_one('td.point').text               
        doc = {
            'rank': rank,
            'title': title,
            'star': star
        }
        db.movies.insert_one(doc)