02.Python 활용 - Crawling & MySql

ID짱재·2021년 2월 22일

Crawling

목록 보기

4/5

🌈 Crawling 연습

🔥 mysql 스키마 만들기

🔥 gmarket 크롤링

🔥 크롤링 데이터 mysql db 삽입

🔥 최종 코드

1. mysql 스키마 만들기

crawling 한 결과를, mysql에 저장할 수 있도록 먼저 mysql의 스키마 생성
items 테이블을 먼저 생성한 뒤, ranking 테이블을 생성할 때, foreign key 지정
- 🔍 FOREIGN KEY (item_code) REFERENCES items(item_code)
items 테이블 구조
- item_code : 상품 고유 코드(varchar / primary key)
- title : 상품명(varchar)
- ori_priece : 원래 가격(int)
- dis_pricce : 할인 가격(int)
- dis_percent : 할인율(int)
- provider : 판매자(varchar)
ranking 테이블 구조
- num : 번호(int / primary key)
- main_category : 대분류(varchar)
- sub_category : 소분류(varchar)
- item_ranking : 순위(tinyint / unsigned)
- item_code : 상품 고유 코드(varchar / foreign key)

✍🏻 python

## mysql & crawling
import pymysql
db = pymysql.connect(host='localhost', port=3306, user='root', passwd='내 비밀번호', db='bestproducts', charset='utf8')
cursor = db.cursor()
#
# 스키마 생성
# 스키마 정의 : items 테이블
sql='''
CREATE TABLE items(
    item_code VARCHAR(20) NOT NULL PRIMARY KEY,
    title VARCHAR(200) NOT NULL,
    ori_price INT NOT NULL,
    dis_price INT NOT NULL,
    dis_percent INT NOT NULL,
    provider VARCHAR(100)
);
'''
cursor.execute(sql) # items 테이블 생성 sql 실행
#
# 스키마 정의 : ranking 테이블
sql = '''
CREATE TABLE ranking(
    num INT AUTO_INCREMENT NOT NULL PRIMARY KEY,
    main_category VARCHAR(50) NOT NULL,
    sub_category VARCHAR(50) NOT NULL,
    item_ranking TINYINT UNSIGNED NOT NULL,
    item_code VARCHAR(20) NOT NULL,
    FOREIGN KEY (item_code) REFERENCES items(item_code)
);
'''
cursor.execute(sql) # items 테이블 생성  sql 실행
db.commit()
db.close()

2. gmarket 크롤링

1) best100 main_category(대분류) 정보 가져오기

크롤링 주소 : http://corners.gmarket.co.kr/Bestsellers

best100 페이지에서 navigation 역할을 하는 영역 클롤링하여 주소와 텍스트 가져옴

✍🏻 python

import requests
from bs4 import BeautifulSoup
res = requests.get('http://corners.gmarket.co.kr/Bestsellers')
soup = BeautifulSoup(res.content, 'html.parser')
categories = soup.select('div.gbest-cate ul.by-group li a')
for category in categories:
    print ('http://corners.gmarket.co.kr/' + category['href'], category.get_text())

2) main_category(대분류)와 sub_category(소분류) 정보 가져오기

main_category 링크 정보를 다시 requests해 소분류 정보 클로링

링크 정보와 링크명을 get_catergory 함수에 파라미터로 전달

클로링할 소분류 정보는 소분류별(sub_category) 링크주소와 소분류 이름

✍🏻 python

import requests
from bs4 import BeautifulSoup
# 2단계 : main_category의 링크주소와 main_category 이름을 파라미터로 받음
def get_category(category_link, category_name):
    res = requests.get(category_link)
    soup = BeautifulSoup(res.content, 'html.parser')  
    sub_categories = soup.select('div.navi.group ul li a')
    # main_category 링크주소, main_category 이름, sub_category 이름, sub_category 링크주소 크롤링 
    for sub_category in sub_categories:
        print (category_link, category_name, sub_category.get_text(), 'http://corners.gmarket.co.kr/' + sub_category['href'])
#
# 1단계 : main_category 링크주소와 main_category 이름을 get_catergory 함수로 넘겨줌
res = requests.get('http://corners.gmarket.co.kr/Bestsellers')
soup = BeautifulSoup(res.content, 'html.parser')
categories = soup.select('div.gbest-cate ul.by-group li a')
for category in categories:
    get_category('http://corners.gmarket.co.kr/' + category['href'], category.get_text())

3) main_category, 상품 정보, 상품 코드, 판매자 클로링

몇몇 상품들은 해당 타겟 태그가 존재하지 않거나, 태그 안에 text가 없어 오류가 발생될 수 있음

오류가 발생하면 크롤링이 진행되지 않기 때문에 그런 상황을 대처할 수 있는 if문으로 처리해줌

🔥 크롤링 target : 대분류명, 소분류명, 순위, 상품코드, 판매자, 상품명, 원가격, 할인가격, 할인률

변수명 : category_name, sub_category_name, ranking, item_code, provider, title, ori_price, dis_price, discount_percent

✍🏻 python

import requests
from bs4 import BeautifulSoup
# 3단계 : item 정보를 가져옴
def get_items(html, category_name, sub_category_name):
    best_item = html.select('div.best-list')
    # best_item이라는 class명이 다수임. 두번째 best_item 클래스 내 li태그에 상품 정보가 있음
    if len(best_item[1].select('li')) > 0: 
        for index, item in enumerate(best_item[1].select('li')):
            ranking = index + 1
            title = item.select_one('a.itemname').get_text()
            ori_price = item.select_one('div.o-price')
            dis_price = item.select_one('div.s-price strong span')
            discount_percent = item.select_one('div.s-price em')
	    # 원래 가격이 비어있거나, 텍스트가 없을 경우
            if ori_price == None or ori_price.get_text() == '':
                ori_price = dis_price
	    # 할인 가격이 비어있을 경우, 원래 가격과 할인가격에 0 넣음(무료일 경우)
            if dis_price == None:
                ori_price, dis_price = 0, 0
            else:
                ori_price = ori_price.get_text().replace(',', '').replace('원', '')
                dis_price = dis_price.get_text().replace(',', '').replace('원', '')
	    # 할인율이 비어있거나, 텍스트가 없을 경우
            if discount_percent == None or discount_percent.get_text() == '':
                discount_percent = 0
            else:
                discount_percent = discount_percent.get_text().replace('%', '')
	    # 각각의 상품 링크
            product_link = item.select_one('div.thumb > a')
            item_code = product_link.attrs['href'].split('=')[1]
            # 판매자 crawling(각 상품 정보의 링크를 타고 들어가 판매자 정보 클로링)
            res = requests.get(product_link.attrs['href'])
            soup = BeautifulSoup(res.content, 'html.parser')
            provider = soup.select_one('div.item-topinfo_headline > p > span.text__seller > a')
            if provider == None:
                provider = ''
            else:
                provider = provider.get_text()
            print (category_name, sub_category_name, ranking, item_code, provider, title, ori_price, dis_price, discount_percent)
# 2단계 : 대분류 링크주소와 대분류 이름을 get_category 파라미터로 넘김
def get_category(category_link, category_name):
    res = requests.get(category_link)
    soup = BeautifulSoup(res.content, 'html.parser')
    # 소분류 네비게이션 클로링
    sub_categories = soup.select('div.navi.group ul li > a')
    for sub_category in sub_categories:
        res = requests.get('http://corners.gmarket.co.kr/' + sub_category['href']) # 소분류 링크를 requests
        soup = BeautifulSoup(res.content, 'html.parser')
        # 소분류 주수, 대분류 이름, 소분류 이름을 get_items()의 파라미터로 넘김
        get_items(soup, category_name, sub_category.get_text())
#1단계 : 대분류 링크 주소와 대분류명을 크롤링
res = requests.get('http://corners.gmarket.co.kr/Bestsellers')
soup = BeautifulSoup(res.content, 'html.parser')
categories = soup.select('div.gbest-cate ul.by-group li a')
for category in categories:
    get_category('http://corners.gmarket.co.kr/' + category['href'], category.get_text())

3) 크롤링 데이터 딕셔너리에 담기

✍🏻 python

import requests
from bs4 import BeautifulSoup
def get_items(html, category_name, sub_category_name):
    # 일부 서브 카테고리의 경우, 이벤트 페이지와 같이 표시될 수 있으므로, 해당 케이스들은 skip 함 (2020.09.30)
    best_item = html.select('div.best-list')
    if len(best_item[1].select('li')) > 0:
        for index, item in enumerate(best_item[1].select('li')):
            # 클로링한 데이터를 딕셔너리 형태로 담기위해 딕셔너리 선언
            data_dict = dict()
            ranking = index + 1
            title = item.select_one('a.itemname').get_text()
            ori_price = item.select_one('div.o-price')
            dis_price = item.select_one('div.s-price strong span')
            dis_percent = item.select_one('div.s-price em')
            if ori_price == None or ori_price.get_text() == '':
                ori_price = dis_price
            if dis_price == None:
                ori_price, dis_price = 0, 0
            else:
                ori_price = ori_price.get_text().replace(',', '').replace('원', '')
                dis_price = dis_price.get_text().replace(',', '').replace('원', '')
            if dis_percent == None or dis_percent.get_text() == '':
                dis_percent = 0
            else:
                dis_percent = dis_percent.get_text().replace('%', '')
            product_link = item.select_one('div.thumb > a')
            item_code = product_link.attrs['href'].split('=')[1]
            res = requests.get(product_link.attrs['href'])
            soup = BeautifulSoup(res.content, 'html.parser')
            provider = soup.select_one('div.item-topinfo_headline > p > span.text__seller > a')
            if provider == None:
                provider = ''
            else:
                provider = provider.get_text()
            # 선언한 딕셔너리에 클로링한 데이터 담기
            data_dict['category_name'] = category_name
            data_dict['sub_category_name'] = sub_category_name
            data_dict['ranking'] = ranking
            data_dict['title'] = title
            data_dict['ori_price'] = ori_price
            data_dict['dis_price'] = dis_price
            data_dict['dis_percent'] = dis_percent
            data_dict['item_code'] = item_code
            data_dict['provider'] = provider
            print(data_dict)
            # print (category_name, sub_category_name, ranking, item_code, provider, title, ori_price, dis_price, dis_percent)
# 대분류 링크주소, 대분류 이름 파라미터로 받아 소분류 파싱 결과와 대분류 이름, 소분류 이름 전달
def get_category(category_link, category_name):
    print(category_link, category_name)
    res = requests.get(category_link)
    soup = BeautifulSoup(res.content, 'html.parser')
    sub_categories = soup.select('div.navi.group ul li > a')
    for sub_category in sub_categories:
        res = requests.get('http://corners.gmarket.co.kr/' + sub_category['href'])
        soup = BeautifulSoup(res.content, 'html.parser')
        get_items(soup, category_name, sub_category.get_text())
# 베스트100 화면에서 네비게이션 영역 클로링하여 대분류 주소와 대분류 이름 크롤링
res = requests.get('http://corners.gmarket.co.kr/Bestsellers')
soup = BeautifulSoup(res.content, 'html.parser')
categories = soup.select('div.gbest-cate ul.by-group li a')
for category in categories:
    get_category('http://corners.gmarket.co.kr/' + category['href'], category.get_text())

3. 크롤링 데이터 mysql db 삽입

1) COUNT 함수

item_code는 PRIMARU KEY이기 때문에 동일한 item_code를 가진 데이터는 저장 불가

이런 문제를 해결할 수 있는 것이 sql문에 COUNT 함수임

즉, if문과 함께 사용하여 저장된 적이 없는 item_code만 데이터로 삽입하게끔 제어

COUNT 함수는 동일한 데이터가 하나라도 있는지 확인해서 있으면 1, 없으면 0을 돌려줌

SELECT COUNT(*) FROM [테이블명] WHERE [컬럼명] = [데이터값]

🔍 SELECT COUNT(*) FROM items WHERE item_code = item_info['item_code'];

✍🏻 python

import pymysql
db = pymysql.connect(host='localhost', port=3306, user='root', passwd='내 비밀번호', db='gmarketbest', charset='utf8')
cursor = db.cursor()
# gmarket best 크롤링
import requests
from bs4 import BeautifulSoup
# 5단계 : mysql 데이터 insert
def save_data(item_info):
    # print (item_info)
    # 5-3단계 : COUNT 함수로 item_code 중복으로 인한 오류 예방 : item_code가 이미 존재하면 해당 상품은 insert하지 않음
    sql = """SELECT COUNT(*) FROM items WHERE item_code = '""" + item_info['item_code'] + """';"""
    cursor.execute(sql)
    result = cursor.fetchone()
    # print (result[0])
    # 5-1단계 : items 테이블 date insert
    if result[0] == 0:
        sql = """INSERT INTO items VALUES('""" + item_info['item_code'] + """',
        '""" + item_info['title'] + """', 
        """ + str(item_info['ori_price']) + """, 
        """ + str(item_info['dis_price']) + """, 
        """ + str(item_info['dis_percent']) + """, 
        '""" + item_info['provider'] + """')"""
        print (sql)
        cursor.execute(sql)
    # 5-2단계 : ranking 테이블 date insert
    sql = """INSERT INTO ranking (main_category, sub_category, item_ranking, item_code) VALUES('""" + item_info['category_name'] + """',
    '""" + item_info['sub_category_name'] + """', 
    '""" + str(item_info['ranking']) + """', 
    '""" + item_info['item_code'] + """')"""     
    print (sql)    
    cursor.execute(sql)
    db.commit()
    db.close()

4. 최종 코드

✍🏻 python

import pymysql
db = pymysql.connect(host='localhost', port=3306, user='root', passwd='내 비밀번호', db='gmarketbest', charset='utf8')
cursor = db.cursor()
# gmarket best 크롤링
import requests
from bs4 import BeautifulSoup
# 5단계 : mysql 데이터 insert
def save_data(item_info):
    # print (item_info)
    # 5-3단계 : COUNT 함수로 item_code 중복으로 인한 오류 예방 : item_code가 이미 존재하면 해당 상품은 insert하지 않음
    sql = """SELECT COUNT(*) FROM items WHERE item_code = '""" + item_info['item_code'] + """';"""
    cursor.execute(sql)
    result = cursor.fetchone()
    # print (result[0])
    # 5-1단계 : items 테이블 date insert
    if result[0] == 0:
        sql = """INSERT INTO items VALUES('""" + item_info['item_code'] + """',
        '""" + item_info['title'] + """', 
        """ + str(item_info['ori_price']) + """, 
        """ + str(item_info['dis_price']) + """, 
        """ + str(item_info['dis_percent']) + """, 
        '""" + item_info['provider'] + """')"""
        print (sql)
        cursor.execute(sql)
    # 5-2단계 : ranking 테이블 date insert
    sql = """INSERT INTO ranking (main_category, sub_category, item_ranking, item_code) VALUES('""" + item_info['category_name'] + """',
    '""" + item_info['sub_category_name'] + """', 
    '""" + str(item_info['ranking']) + """', 
    '""" + item_info['item_code'] + """')"""     
    print (sql)    
    cursor.execute(sql)
    db.commit()
    db.close()
# 3단계 : data 추출(대분류명, 소분류명, 순위, 상품코드, 판매자, 상품명, 원가격, 할인가격, 할인률)
def get_items(html, category_name, sub_category_name):
    best_item = html.select('div.best-list')
    if len(best_item[1].select('li')) > 0:
        # 3-1단계 : data 추출(대분류명, 소분류명, 순위, 상품명, 원가격, 할인가격, 할인률)
        for index, item in enumerate(best_item[1].select('li')):
            data_dict = dict()
            ranking = index + 1
            title = item.select_one('a.itemname').get_text()
            ori_price = item.select_one('div.o-price')
            dis_price = item.select_one('div.s-price strong span')
            dis_percent = item.select_one('div.s-price em')
            if ori_price == None or ori_price.get_text() == '':
                ori_price = dis_price
            if dis_price == None:
                ori_price, dis_price = 0, 0
            else:
                ori_price = ori_price.get_text().replace(',', '').replace('원', '')
                dis_price = dis_price.get_text().replace(',', '').replace('원', '')
            if dis_percent == None or dis_percent == '':
                dis_percent = 0
            else:
                dis_percent = dis_percent.get_text().replace('%', '')
        # 3-2단계 : data 추출(상품코드, 판매자)
            product_link = item.select_one('div.thumb > a')
            item_code = product_link.attrs['href'].split('=')[1].split('&')[0]
            res = requests.get(product_link.attrs['href'])
            soup = BeautifulSoup(res.content, 'html.parser')
            provider = soup.select_one('div.item-topinfo_headline > p > span.text__seller > a')
            if provider == None:
                provider = ''
            else:
                provider = provider.get_text()            
            # print(category_name, sub_category_name, ranking, item_code, provider, title, ori_price, dis_price, dis_percent)
        # 4단계 : dict 형식으로 저장
            data_dict['category_name'] = category_name
            data_dict['sub_category_name'] = sub_category_name
            data_dict['ranking'] = ranking
            data_dict['title'] = title
            data_dict['ori_price'] = ori_price
            data_dict['dis_price'] = dis_price
            data_dict['dis_percent'] = dis_percent
            data_dict['item_code'] = item_code
            data_dict['provider'] = provider
            save_data(data_dict)
# 2단계 : 중분류 클로링
def get_category(category_link, category_name):
    res = requests.get(category_link)
    soup = BeautifulSoup(res.content, 'html.parser')
    sub_categories = soup.select('div.navi.group ul li a')
    for sub_category in sub_categories:
        res = requests.get('http://corners.gmarket.co.kr/'+sub_category['href'])
        soup = BeautifulSoup(res.content, 'html.parser')
        get_items(soup, category_name, sub_category.get_text())        
# 1단계 : 대분류 링크 주소 및 대분류명 크롤링
res = requests.get('http://corners.gmarket.co.kr/Bestsellers')
soup = BeautifulSoup(res.content, 'html.parser')
categories = soup.select('div.gbest-cate ul.by-group li a')
for category in categories:
    get_category('http://corners.gmarket.co.kr/'+category['href'], category.get_text())