코딩3주차/개발일지
PYTHON
컴퓨터가 알아들을 수 있는 언어로 변환하는 프로그램 (=변역 패키지)
파이썬 에이젝스 자바 자바스크립트 ..
구분 못 하겠는 나, 정상인가
-리스트형 (순서)
a_list = []
a_list.append(1) # 리스트에 값을 넣는다 //.append()
a_list.append([2,3]) # 리스트에 [2,3]이라는 리스트를 다시 넣는다
a_list의 값은? [1,[2,3]] //리스트 속 리스트
a_list[0]의 값은? 1
a_list[1]의 값은? [2,3]
a_list[1][0]의 값은? 2
-딕셔너리형 (정보)
a_dict = {}
a_dict = {'name':'bob','age':21}
a_dict['height'] = 178 // ['']=
a_dict의 값은? {'name':'bob','age':21, 'height':178}
a_dict['name']의 값은? 'bob'
a_dict['age']의 값은? 21
a_dict['height']의 값은? 178
-자바스트립트와 파이썬 차이 (함수)
-자바스크립트에서는
function f(x) {
return 2*x+3
}
-파이썬에서
def f(x): // 파이썬에서는 def 사용
return 2*x+3
y = f(2)
y의 값은? 7
-조건문
def oddeven(num): # oddeven이라는 이름의 함수를 정의한다. num을 변수로 받는다.
if num % 2 == 0: # num을 2로 나눈 나머지가 0이면
return True # True (참)을 반환한다.
else: # 아니면,
return False # False (거짓)을 반환한다.
result = oddeven(20)
True
def is_adult(age):
if age > 20:
print('성인입니다') # 조건이 참이면 성인입니다를 출력
else:
print('청소년이에요') # 조건이 거짓이면 청소년이에요를 출력
is_adult(30)
성인입니다
-반복문
-파이썬의 반복문은 리스트의 요소들을 하나씩 꺼내쓰는 형태 = 무조건 리스트와 함께 사용됨
리스트 예제
fruits = ['사과','배','배','감','수박','귤','딸기','사과','배','수박']
count = 0 // 0부터 시작
for fruit in fruits: // fruits 안에서 fruit 라는 함수 생성
if fruit == '사과': // fruit 함수 안에서 사과를 만나면
count += 1 // 1씩 더해라
print(count)
2
def count_fruits(target): //count_fruits이라는 함수에 변수(target)
count = 0
for fruit in fruits:
if fruit == target:
count += 1
return count
subak_count = count_fruits('수박')
print(subak_count) #수박의 갯수
2
gam_count = count_fruits('감')
print(gam_count) #감의 갯수
1
딕셔너리 예제
people = [{'name': 'bob', 'age': 20},
{'name': 'carry', 'age': 38},
{'name': 'john', 'age': 7},
{'name': 'smith', 'age': 17},
{'name': 'ben', 'age': 27}] //딕셔너리의 리스트화
def get_age(myname):
for person in people:
if person['name'] == myname:
return person['age']
return '해당하는 이름이 없습니다'
print(get_age('bob'))
print(get_age('kay'))
20
해당하는 이름이 없습니다
PYTHON package
패키지의 묶음 = 라이브러리
패키지 설치 = 외부 라이브러리 설치
VENV !! 건드리면 안되는 파일인 이유
-reqests
파이썬으로 HTTP 호출하는 프로그램을 작성할 때 가장 많이 사용되는 라이브러리
(API)
import requests # requests 라이브러리 설치 필요
r = requests.get('http://openapi.seoul.go.kr:8088/6d4d776b466c656533356a4b4b5872/json/RealtimeCityAir/1/99')
rjson = r.json()
gus = rjson['RealtimeCityAir']['row']
for gu in gus:
if gu['IDEX_MVL'] < 60:
print (gu['MSRSTE_NM'], gu['IDEX_MVL']) // 들여쓰기 중요
웹스크래핑 (크롤링)
bs4 패키지 설치 필요
크롤링 기본 세팅
import requests
from bs4 import BeautifulSoup
-# 타겟 URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=pnt&date=20200303',headers=headers)
-# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
-# soup이라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨
-# 이제 코딩을 통해 필요한 부분을 추출하면 된다.
soup = BeautifulSoup(data.text, 'html.parser')
#############################
-# (입맛에 맞게 코딩)
#############################
태그 안의 텍스트 뽑기 > 태그.text
태그 안의 속성 뽑기 > 태그['']
import requests
from bs4 import BeautifulSoup
-# URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=pnt&date=20200303',headers=headers)
-# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
soup = BeautifulSoup(data.text, 'html.parser')
-# select를 이용해서, tr들을 불러오기
movies = soup.select('#old_content > table > tbody > tr') // 검사에서 사용할 부분 코딩 copy-copy seletor
-# movies (tr들) 의 반복문을 돌리기
for movie in movies:
# movie 안에 a 가 있으면,
a_tag = movie.select_one('td.title > div > a') //코딩 중 부분일 경우 #생략
if a_tag is not None: //None 제외하기
# a의 text를 찍어본다.
print (a_tag.text)선택자를 사용하는 방법 (copy selector)
soup.select('태그명')
soup.select('.클래스명')
soup.select('#아이디명')
soup.select('상위태그명 > 하위태그명 > 하위태그명')
soup.select('상위태그명.클래스명 > 하위태그명.클래스명')
태그와 속성값으로 찾는 방법
soup.select('태그명[속성="값"]')
한 개만 가져오고 싶은 경우
soup.select_one('위와 동일')
DB
mongodb : 데이터를 저장해도 안 보임
mongodb 내부를 보기 위해 robo3T 사용
pymongo
파이썬에서 mongodb 사용하려면 pymongo 라이브러리 설치 필요
코딩 후 run 하고 robo3T가서 새로고침
-insert
from pymongo import MongoClient # pymongo를 임포트 하기(패키지 인스톨 먼저 해야겠죠?)
client = MongoClient('localhost', 27017) # mongoDB는 27017 포트로 돌아갑니다.
db = client.dbsparta # 'dbsparta'라는 이름의 db를 만듭니다.
-# MongoDB에 insert 하기
-# 'users'라는 collection에 {'name':'bobby','age':21}를 넣습니다.
db.users.insert_one({'name':'bobby','age':21})
db.users.insert_one({'name':'kay','age':27})
db.users.insert_one({'name':'john','age':30})
-find
from pymongo import MongoClient # pymongo를 임포트 하기(패키지 인스톨 먼저 해야겠죠?)
client = MongoClient('localhost', 27017) # mongoDB는 27017 포트로 돌아갑니다.
db = client.dbsparta # 'dbsparta'라는 이름의 db를 만듭니다.
-# MongoDB에서 데이터 모두 보기
all_users = list(db.users.find({}))
-# 참고) MongoDB에서 특정 조건의 데이터 모두 보기
same_ages = list(db.users.find({'age':21},{'_id':False}))
print(all_users[0]) # 0번째 결과값을 보기
print(all_users[0]['name']) # 0번째 결과값의 'name'을 보기
{'name':'bobby','age':21}
bobby
for user in all_users: # 반복문을 돌며 모든 결과값을 보기
print(user)
{'name':'bobby','age':21},{'name':'kay','age':27},{'name':'john','age':30}
user = db.users.find_one({'name':'bobby'})
print(user)
{'name':'bobby','age':21}
-update
-# 생김새
db.people.update_many(찾을조건,{ '$set': 어떻게바꿀지 })
-# 예시 - 오타가 많으니 이 줄을 복사해서 씁시다!
db.users.update_one({'name':'bobby'},{'$set':{'age':19}})
user = db.users.find_one({'name':'bobby'})
print(user)
-delete (잘 안 씀)
db.users.delete_one({'name':'bobby'})
user = db.users.find_one({'name':'bobby'})
print(user)
-pymongo 코드 요약
-# 저장 - 예시
doc = {'name':'bobby','age':21}
db.users.insert_one(doc)
-# 한 개 찾기 - 예시
user = db.users.find_one({'name':'bobby'})
-# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)
same_ages = list(db.users.find({'age':21},{'_id':False}))
-# 바꾸기 - 예시
db.users.update_one({'name':'bobby'},{'$set':{'age':19}})
-# 지우기 - 예시
db.users.delete_one({'name':'bobby'})
과제
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=D&ymd=20200403&hh=23&rtm=N&pg=1',headers=headers) //url 수정
soup = BeautifulSoup(data.text, 'html.parser') //여기까지 기본코딩, 복사해오기!
trs = soup.select('#body-content > div.newest-list > div > table > tbody > tr')
for tr in trs:
title = tr.select_one('td.info > a.title.ellipsis').text.strip()
rank = tr.select_one('td.number').text[0:2].strip() // .strip() 공백 지우기
artist = tr.select_one('td.info > a.artist.ellipsis').text
print(rank, title, artist)
