3주차 WIL🐱‍👤Python,크롤링,mongoDB

Python 🎀

• 변수 (int나 let 같은 게 없음)

  a = 3      
  b = 2       
  
  num1 = a*b 
  num2 = 99 

• 자료형

  #숫자, 문자
  name = 'abc'		#문자열은 ''
  num = 12
  is_number = True	#boolean값 가능
  
  #리스트형(Javascript와 동일)
  a_list = []
  a_list.append(1)		#리스트 '값' 추가
  a_list.append([2,3])	#리스트에 '리스트' 추가
  
  print(a_list)			# 1,[2,3]
  print(a_list[0])		# 1
  print(a_list[1])		# [2,3]
  print(a_list[1][0])		# 2
  
  #딕셔너리
  a_dict = {}
  a_dict = {'name':'bob','age':21}
  a_dict['height'] = 178				#키값지정해서 값입력만해도 자동으로 딕셔너리에 추가
  
  print(a_dict['name'])		#'bob'
  print(a_dict['age'])		# 21
  print(a_dict['height'])		#178
  
  #딕셔너리+리스트
  people = [{'name':'bob','age':20},{'name':'carry','age':38}]
  
  print(people[0]['name'])	#'bob'
  print(people[1]['name'])	#'carry'
  
  person = {'name':'john','age':7}
  people.append(person)
  
  print(people)				
  #[{'name':'bob','age':20},{'name':'carry','age':38},{'name':'john','age':7}]
  print(people[2]['name'])	#'john'

• 함수

  ```def f(X):
      return 2*x+3
  
  y=f(2)
  print(y)		#7

• 조건문

  def is_adult(age):
  	if age > 20:
  		print('성인입니다')   
  	else:
  		print('청소년이에요')
  
  is_adult(30)		#성인입니다
  is_adult(15)		#청소년이에요

• 반복문

  • python의 반복문은 리스트와 함께 사용

  fruits = ['사과','배','배','감','수박','귤','딸기','사과','배','수박']
  
  count = 0
  for fruit in fruits:
  	if fruit == '사과':
  		count += 1
  
  print(count)			#2

Python 패키지 설치 🎀

File - Settings - Projects:phythonprac > Python interpreter > (+) > 설치하고자하는 패키지명 검색 후 설치

• requests 라이브러리 사용, 미세먼지 Open API 받아오기

import requests # requests 라이브러리 설치 필요

r = requests.get('http://openapi.seoul.go.kr:8088/6d4d776b466c656533356a4b4b5872/json/RealtimeCityAir/1/99')
rjson = r.json()


# print(rjson['RealtimeCityAir']['row'][0]['MSRSTE_NM'])

gus = rjson['RealtimeCityAir']['row']

for gu in gus:
    gu_name = gu['MSRSTE_NM']
    gu_mise = gu['IDEX_MVL']
    if gu_mise > 90:
        print(gu_name, gu_mise)

서대문구 93.0
동대문구 91.0
강서구 91.0
금천구 91.0

웹스크래핑(크롤링)🎀

크롤링 : 검색엔진이 사이트를 퍼가는 행위 ( 코드에서 요청하기 / 원하는 정보를 잘 솎아내기)

1. [bs4] 패키지 설치 (크롤링 기본세팅)

   import requests
   from bs4 import BeautifulSoup
   
   headers = {
       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
   data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=pnt&date=20200303', headers=headers)
   
   soup = BeautifulSoup(data.text, 'html.parser')

• select_one

  

  • slelect_one('') 에서 ''안에 copy selector의 결과물 붙여넣기

    title = soup.select_one('#old_content > table > tbody > tr:nth-child(2) > td.title > div > a') 	
    
    print(title)
    # <a href="/movie/bi/mi/basic.naver?code=171539" title="그린 북">그린 북</a>
    
    print(title.text)		#텍스트를 가져오는 방법
    # 그린 북
    
    print(title['href'])	#태그의 속성을 가져오는 방법
    # /movie/bi/mi/basic.naver?code=171539

• select

  : 위와 같은 목록들을 쭈욱 copy selector 해보면
  
  #old_content > table > tbody > tr:nth-child(1)
  
  #old_content > table > tbody > tr:nth-child(2)
  
  #old_content > table > tbody > tr:nth-child(3)
  
  처럼 뒤의 **nth_child(n)**만 다르고, **#old_content > table > tbody > tr**는 공통인 걸 알 수 있음
  
  ```python
  trs = soup.select('#old_content > table > tbody > tr')
  
  for tr in trs:
      print(tr)
  ```

  

• select + select_one

  trs = soup.select('#old_content > table > tbody > tr')
  
  #old_content > table > tbody > tr:nth-child(2) > td.title > div > a 
  #(랭킹들 중 '그린북(이름부분)'의 selector)
  #select로 tr까지의 정보를 찾았고, 그 뒤의 td.title > div > a 부분을 select_one으로 지정
  
  for tr in trs:
     a_tag = tr.select_one('td.title > div > a')
     print(a_tag)

중간중간 뜨는 none은 형식에 따른 오류인 경우가 있음.
예를 들어서 태그에서 ''그린북'','가버니움'처럼 텍스트만 뽑아내고 싶은 경우 아까처럼 pirnt(a_tag.text) 를 하면 none 부분 때문에 에러가 남

올바른 방법은

Database 🎀

- RDBMS(SQL)

행/열의 생김새가 정해진 엑셀에 데이터를 저장하는 것과 유사

• 데이터가 50만개 적재될 경우, 중간에 열을 더하는 행위는 어려움
• 정형화 되어 있는 만큼, 데이터의 일관성/ 분석에 용이
• ex) MySQL, Oracle

- No-SQL

딕셔너리의 형태로 데이터를 저장하는 DB, 데이터 하나하나마다 같은 값을 가질 필요X

• ex) MongoDB

pymongo로 DB 조작🎀

File > Settings > Python interpreter > (+) pymongo

• 파이몽고 기본코드

  from pymongo import MongoClient
  client = MongoClient('localhost', 27017)
  db = client.dbsparta
  
  # 코딩 시작
  
  #insert
  doc = {'name':'bobby','age':21}
  db.users.insert_one(doc)
  
  #find
  same_ages = list(db.users.find({'age':21},{'_id':False}))
  
  #find_one
  user = db.users.find_one({'name':'bobby'})
  
  #update_one
  db.users.update_one({'name':'bobby'},{'$set':{'age':19}})
  
  #delete_one
  db.users.delete_one({'name':'bobby'})

pythonQuiz(지니뮤직 크롤링)🎀

import requests
from bs4 import BeautifulSoup

from pymongo import MongoClient
client = MongoClient('localhost', 27017)
db = client.dbsparta

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=D&ymd=20200403&hh=23&rtm=N&pg=1', headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

print(soup)

#title
#body-content > div.newest-list > div > table > tbody > tr:nth-child(1) > td.info > a.title.ellipsis
#singer
#body-content > div.newest-list > div > table > tbody > tr:nth-child(1) > td.info > a.artist.ellipsis
#rank
#body-content > div.newest-list > div > table > tbody > tr:nth-child(1) > td.number

trs = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

for tr in trs:
    t_tag = tr.select_one('td.info> a.title.ellipsis').text.strip()
    s_tag = tr.select_one('td.info> a.artist.ellipsis').text.strip()
    r_tag = tr.select_one('td.number').text

    print(r_tag,t_tag,s_tag)

1. header의 링크를 genie뮤직 url로 변경해주기

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=D&ymd=20200403&hh=23&rtm=N&pg=1', headers=headers)

2. 크롬 > 검사 > copy selector를 통해 원하는 부분의 selector 가져오기

#title
#body-content > div.newest-list > div > table > tbody > tr:nth-child(1) > td.info > a.title.ellipsis
#singer
#body-content > div.newest-list > div > table > tbody > tr:nth-child(1) > td.info > a.artist.ellipsis
#rank
#body-content > div.newest-list > div > table > tbody > tr:nth-child(1) > td.number

3. 코드 작성

trs = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

for tr in trs:
    t_tag = tr.select_one('td.info> a.title.ellipsis').text.strip()
    s_tag = tr.select_one('td.info> a.artist.ellipsis').text.strip()
    r_tag = tr.select_one('td.number').text

    print(r_tag,t_tag,s_tag)

• 제목과 가수를 가져올 때 불필요한 공백이 많아서 .strip() 을 붙여 공백제거

• soup.select에서 공통부분을 가져온다고,
  ('#body-content > div.newest-list > div > table > tbody > tr:nth-child(1)') 이렇게 가져오면 불필요한 정보가 너무 많이 같이 가져와짐 tr까지만 가져오기

• rank의 경우 위 코드로는

  

이런 형태로 출력 됨.
'td.number'의 정보가 아래처럼 되어 있기 때문!

필요한 건 처음의 "1"

td.number에 담겨있는 text 중 "1 " 의 형태에서 (")(1)()(") 0번째~3번째 중 2번째까지필요

    r_tag = tr.select_one('td.number').text[0:2]

.text[0:?] 0~?번째 글자까지 지정

strip() 빈칸 없애준다. lstrip rstrip하면 왼쪽여백 오른쪽여백 없앤다.