02.Python 활용 - open API

ID짱재·2021년 2월 9일

Crawling

목록 보기

3/5

🌈 open API

🔥 open API 이해

🔥 네이버 developers 활용하여 데이터 JSON 형태로 클로링하기

🔥 정부제공 Open API 사용하기

1. open API 이해

1) open API(Rest API)란?

API: Aplication Programming Interface의 약자로, 프로그램을 만들기 위해 제공되는 모듈(함수 등)을 의미

Open API : 누구든 사용할 수 있도록 공개된 API(주로 REST API 기술을 사용함)

REST API : Representational State Transfer API의 약자로, HTTP 프로토컬을 통해 서버 제공 기능을 사용할 수 있는 함수

REST API는 일반적으로 XML, JSON의 형태로 응답을 전달

2) JSON 이란?

JavaScript Object Notation 줄임말

웹 환경에서 서버와 클라이언트 사이에 데이터를 주고 받을 때 주로 사용

JSON 포맷 예 : dict과 같은 형태

{"id":"01", "language":"python", "edition":"third", "author":"jaewon"}

key에는 문자열이 들어가지만, value에는 다양한 데이터 타입을 담을 수 있음

JSON도 라이브러리이기 때문에 설치 필요 : pip3 install json

2. 네이버 developers 활용하여 데이터 JSON 형태로 클로링하기

1) 네이버 뉴스 검색 결과 포스트맨으로 JSON 전달받아 다루기

⭐️ naver developers 참고 : https://developers.naver.com/main/

포스트맨 설치 후 파일 생성하여 params에 가져올 주소 GET에서 등록

이후 Headers에 developers.naver 가입 할 때 받은 Id와 Secret 등록

id와 Secret 등록 할 때, KEY값으로 id에는 X-Naver-Client-Id을 적고, Secret에는 X-Naver-Client-Secret를 적어 VALUE에 값을 적어주면 됨

API를 받아오는 싸이트별로 다르기 때문에 해당 웹에서 제공하는 API 공식 문서를 참고하여 어떻게 호출할 수 있는지 상황에 따라 적용해야 함

SEND를 누르면 아래 BODY창에 JSON형태로 받아 보여줌

json.loads() : JSON 형식의 자료를 불러올 때 사용

JSON 내 데이터를 인덱싱할 때에는 dict를 다루를 방식으로 key값을 통해 불러옴

✍🏻 python

# postman을 이용하여 네이버 뉴스에서 android 키워드로 검색한 결과
import json
data = """
{
   "lastBuildDate": "Fri, 05 Feb 2021 14:06:50 +0900",
   "total": 23784,
   "start": 1,
   "display": 10,
   "items": [
       {
           "title": "'그려라, 터치: 두 개의 왕국' 무료 업데이트 제공",
           "originallink": "https://www.gamechosun.co.kr/webzine/article/view.php?no=172200",
           "link": "https://www.gamechosun.co.kr/webzine/article/view.php?no=172200",
           "description": "및 <b>Android</b>에서 제공한다. 크리에이티브 팩 DLC는 닌텐도 스위치 플레이어를 위한 10가지 새로운 챌린지... 및 <b>Android</b>에만 해당) ‘그려라, 터치: 두 개의 왕국’은 ‘그려라, 터치: 더 넥스트 챕터’가 끝나고 몇 년... ",
           "pubDate": "Fri, 05 Feb 2021 11:33:00 +0900"
       },
       {
           "title": "'그려라, 터치: 두 개의 왕국' 무료 DLC 통해 닌텐도 스위치 유저 위한 터치 ...",
           "originallink": "http://gamefocus.co.kr/detail.php?number=114250",
           "link": "http://gamefocus.co.kr/detail.php?number=114250",
           "description": "및 <b>Android</b>에서 제공한다. 크리에이티브 팩 DLC는 닌텐도 스위치 플레이어를 위한 10가지 새로운 챌린지... 및 <b>Android</b>에만 해당) '그려라, 터치: 두 개의 왕국'은 '그려라, 터치: 더 넥스트 챕터'가 끝나고 몇 년 후를... ",
           "pubDate": "Fri, 05 Feb 2021 10:45:00 +0900"
       },
       {
           "title": "‘구글번역’으로 나의 칼럼이 완전 영문화 “인공지능을 보고 놀라”",
           "originallink": "http://www.breaknews.com/784374",
           "link": "http://www.breaknews.com/784374",
           "description": "It is said to provide website interfaces for <b>Android</b> and iOS, mobile apps, and APIs that help developers develop browser extensions and application software. Other languages are translated into paragraphs of text... ",
           "pubDate": "Thu, 04 Feb 2021 10:37:00 +0900"
       },
       {
           "title": "스카이스캐너, 직항수요 예측 B2B 전용 ‘Unserved Routes’ 모듈 출시 했다.",
           "originallink": "http://www.tourtimes.net/353154",
           "link": "http://www.tourtimes.net/353154",
           "description": "스카이스캐너는 컴퓨터, 모바일에서 사용할 수 있으며, 앱(<b>Android</b>/iOS)은 1억 만번의 다운로드를 기록했다. 스카이스캐너의 목표는 1200여 여행 파트너들과 협력하여, 현대적이고 지속 가능한 여행으로 세계적인 변화를... ",
           "pubDate": "Thu, 04 Feb 2021 09:35:00 +0900"
       },
       {
           "title": "드림에이스, 폭스콘 MIH의 주요 파트너사로 선정 ",
           "originallink": "http://www.businesskorea.co.kr/news/articleView.html?idxno=59828",
           "link": "http://www.businesskorea.co.kr/news/articleView.html?idxno=59828",
           "description": "설립 초기부터 싱가포르에서 열린 '2015 인피니언 벤처포럼'에 참가 한국 기업으로는 유일하게 2위를 수상할 정도로 일찍이 기술을 인정을 받은 기업이며, 2019년에는 AGL Summit 2019 (ALS 2019)에서 <b>Android</b> Container 기술을... ",
           "pubDate": "Thu, 04 Feb 2021 09:32:00 +0900"
       },
       {
           "title": "What Can You Actually Buy With Bitcoin?",
           "originallink": "https://www.nytimes.com/2021/02/03/style/what-can-you-actually-buy-with-bitcoin.html?partner=naver",
           "link": "https://www.nytimes.com/2021/02/03/style/what-can-you-actually-buy-with-bitcoin.html?partner=naver",
           "description": "Additionally, apps in the Apple and <b>Android</b> stores make it possible for crypto-connoisseurs to pay for airline tickets by converting Bitcoin to fiat money in real time. On Monday, a news release... ",
           "pubDate": "Thu, 04 Feb 2021 01:23:00 +0900"
       },
       {
           "title": "As Jeff Bezos Takes Off, Meet His Earthbound Successor",
           "originallink": "https://www.nytimes.com/2021/02/03/opinion/amazon-jeff-bezos-andy-jassy.html?partner=naver",
           "link": "https://www.nytimes.com/2021/02/03/opinion/amazon-jeff-bezos-andy-jassy.html?partner=naver",
           "description": "To hear more audio stories from publishers like The New York Times, download Audm for iPhone or <b>Android</b>. Who, you might ask at this moment, is Andy Jassy? He’s a talented entrepreneur, for sure... ",
           "pubDate": "Wed, 03 Feb 2021 19:02:00 +0900"
       },
       {
           "title": "Can We Please Stop Talking About Stocks, Please?",
           "originallink": "https://www.nytimes.com/2021/02/03/opinion/gamestop-stock-market-economy.html?partner=naver",
           "link": "https://www.nytimes.com/2021/02/03/opinion/gamestop-stock-market-economy.html?partner=naver",
           "description": "To hear more audio stories from publishers like The New York Times, download Audm for iPhone or <b>Android</b>. This column is not about GameStop, though not for lack of trying. Last week the aging... ",
           "pubDate": "Wed, 03 Feb 2021 19:02:00 +0900"
       },
       {
           "title": "The Many Lives of Steven Yeun",
           "originallink": "https://www.nytimes.com/2021/02/03/magazine/steven-yeun.html?partner=naver",
           "link": "https://www.nytimes.com/2021/02/03/magazine/steven-yeun.html?partner=naver",
           "description": "To hear more audio stories from publishers like The New York Times, download Audm for iPhone or <b>Android</b>. When I was growing up in the ’90s, the only Asian-American writer I knew was Amy Tan.... ",
           "pubDate": "Wed, 03 Feb 2021 19:02:00 +0900"
       },
       {
           "title": "Risking Everything to Come to America on the Open Ocean",
           "originallink": "https://www.nytimes.com/2021/02/03/magazine/customs-border-protection-migrants-pacific-ocean.html?partner=naver",
           "link": "https://www.nytimes.com/2021/02/03/magazine/customs-border-protection-migrants-pacific-ocean.html?partner=naver",
           "description": "To hear more audio stories from publishers like The New York Times, download Audm for iPhone or <b>Android</b>. The fiberglass skiff Lazora idled on the darkened Pacific Ocean a few miles south of... ",
           "pubDate": "Wed, 03 Feb 2021 19:02:00 +0900"
       }
   ]
}
"""

json_data = json.loads(data) # json에서 데이터 불러오는 함수 : loads()
print(json_data)
print(json_data['lastBuildDate'])
print(json_data['items'])
print(json_data['items'][-1]['title'])
print(json_data['items'][-1]['pubDate'])

2) 네이버 쇼핑 검색 결과 vscode에서 JSON 전달받아 다루기

포스트맨에서 JSON을 전달받은 방법을 프로그래밍을 통해 처리하는 방법을 알아보자.

pprint 라이브러리 : JSON으로 전달받은 데이터를 구조적으로 정렬되서 출력해줌

기존 print()로 사용하던 부분을 pprint.pprint() 로 사용하면 정렬되서 출력함

enumerate() 함수 : for문에서 index번호를 함께 출력해주는 함수

✍🏻 python

import requests
import pprint # json을 보기 편하게 구조적으로 정렬해주는 라이브러리
client_id = '내 id입력' 
client_secret = '내 secret 입력' 
naver_open_api = 'https://openapi.naver.com/v1/search/shop.json?query=android'
header_params = {"X-Naver-Client-Id":client_id, "X-Naver-Client-Secret":client_secret} # id와 secret을 json 형식으로 만들어 변수에 저장 
res = requests.get(naver_open_api, headers=header_params) # JSON 형식으로 받아올 주소와 내 헤더 정보 통해 요청
# requests 한 결과의 응답이 정상일 때와, 정상이아닐 때
if res.status_code == 200:
    data = res.json() # 정상적이면 출력
    pprint.pprint(data)  # print()로 불러오면 data가 보기 어려움. pprint로 불러오면 구조적으로 보여줌
    for index, item in enumerate(data['items']): # enumerate() 함수를 써서 인덱스 번호도 함께 볼 수 있음
        print(index+1, item['title'], item['link'])
else:
    print("Error Code: ", res.status_code) # 문제 있으면 에러 코드

3) 상품 검색 상위 리스트 엑셀 파일로 저장하기

1단계 : evelopers.naver.com를 참고하여 네이버 쇼핑 '애플워치' 검색어 크롤링하기

2단계 : 크롤링 조건은 유사도 기준 상위 1000개

3단계 : 크롤링한 결과를 엑셀 파일로 저장

네이버 api 검색 개발 가이드 요청 변수

✍🏻 python

# 라이브러리 import
import requests
import openpyxl
# 필요 변수 선언
client_id = '내 id값' 
client_secret = '내 secret값' 
start, num = 1, 0
excel_file = openpyxl.Workbook()
excel_sheet = excel_file.active
excel_sheet.column_dimensions["B"].width = 100
excel_sheet.column_dimensions["C"].width = 100
excel_sheet.append(['랭크', '제목', '링크']) # 맨위에 라벨 세팅
# for문을 통해 1000개 requests 요청하기 
# display는 100개씩 가져오기 때문에 start 시작값을 바꿔주면 1000개를 크롤링 가능
for index in range(10):
    start_number = start + (index * 100)
    naver_open_api = 'https://openapi.naver.com/v1/search/shop.json?query=애플워치&display=100&start='+str(start_number) # 네이버 쇼핑에서 애플워치 검색한 주소
    header_params = {"X-Naver-Client-Id":client_id, "X-Naver-Client-Secret":client_secret} 
    res = requests.get(naver_open_api, headers=header_params) 
    # requests 한 결과의 응답이 정상일 때와, 정상이아닐 때
    if res.status_code == 200:
        data = res.json() 
        for item in data['items']: # enumerate() 함수를 써서 인덱스 번호도 함께 볼 수 있음
            num += 1
            excel_sheet.append([num, item['title'], item['link']]) # 중첩 list로 처리해줘야 함
    else:
        print("Error Code: ", res.status_code) # 문제 있으면 에러 코드
# 클롤링 결과 저장 및 닫기
excel_file.save('shopping_with_applewatch.xlsx')
excel_file.close()

3. 정부제공 Open API 사용하기

정부 Open API 주소: https://www.data.go.kr/

1) 환경공단 대기오염 정보 Postman에서 XML 포맷 가져오기

대기오염 정보조회 서비스 : https://www.data.go.kr/data/15000581/openapi.do

크롤링 타켓 : 시군구별 실시간 평균정보 조회

일반인증키는 서비스 신청을하면 발급 받을 수 있음

url에 ?를 붙인 뒤 "요청변수=값"을 순차적으로 써주고 요청 변수 사이에는 &를 넣어 이어줌

서비스 url에 요청변수의 항목과 값을 작성 후 postman으로 가서 잘 작동하는지만 확인

아래 처럼 포스트맨에 확인되면 get을 잘해온 것

XML은 Extensible Markup Language의 약자로, 데이터를 태그로 감사서 마크업하는 범용적인 포맷

Postman

<?xml version="1.0" encoding="UTF-8"?>
<response>
   <header>
       <resultCode>00</resultCode>
       <resultMsg>NORMAL SERVICE.</resultMsg>
   </header>
   <body>
       <items>
           <item>
               <dataTime>2021-02-05 19:00</dataTime>
               <cityName>강남구</cityName>
               <so2Value>0.003</so2Value>
               <coValue>0.5</coValue>
               <o3Value>0.022</o3Value>
               <no2Value>0.029</no2Value>
               <pm10Value>23</pm10Value>
               <pm25Value>19</pm25Value>
           </item>
           <item>
               <dataTime>2021-02-05 19:00</dataTime>
               <cityName>강동구</cityName>
               <so2Value>0.003</so2Value>
               <coValue>0.4</coValue>
               <o3Value>0.023</o3Value>
               <no2Value>0.028</no2Value>
               <pm10Value>30</pm10Value>
               <pm25Value>21</pm25Value>
           </item>
           <item>
               <dataTime>2021-02-05 19:00</dataTime>
               <cityName>강북구</cityName>
               <so2Value>0.003</so2Value>
               <coValue>0.5</coValue>
               <o3Value>0.023</o3Value>
               <no2Value>0.027</no2Value>
               <pm10Value>27</pm10Value>
               <pm25Value>12</pm25Value>
           </item>
           <item>
               <dataTime>2021-02-05 19:00</dataTime>
               <cityName>강서구</cityName>
               <so2Value>0.003</so2Value>
               <coValue>0.4</coValue>
               <o3Value>0.021</o3Value>
               <no2Value>0.035</no2Value>
               <pm10Value>25</pm10Value>
               <pm25Value>16</pm25Value>
           </item>
           <item>
               <dataTime>2021-02-05 19:00</dataTime>
               <cityName>관악구</cityName>
               <so2Value>0.003</so2Value>
               <coValue>0.5</coValue>
               <o3Value>0.018</o3Value>
               <no2Value>0.042</no2Value>
               <pm10Value>26</pm10Value>
               <pm25Value>13</pm25Value>
           </item>
           <item>
               <dataTime>2021-02-05 19:00</dataTime>
               <cityName>광진구</cityName>
               <so2Value>0.003</so2Value>
               <coValue>0.5</coValue>
               <o3Value>0.013</o3Value>
               <no2Value>0.030</no2Value>
               <pm10Value>25</pm10Value>
               <pm25Value>16</pm25Value>
           </item>
           <item>
               <dataTime>2021-02-05 19:00</dataTime>
               <cityName>구로구</cityName>
               <so2Value>-</so2Value>
               <coValue>-</coValue>
               <o3Value>-</o3Value>
               <no2Value>-</no2Value>
               <pm10Value>30</pm10Value>
               <pm25Value>12</pm25Value>
           </item>
           <item>
               <dataTime>2021-02-05 19:00</dataTime>
               <cityName>금천구</cityName>
               <so2Value>0.003</so2Value>
               <coValue>0.5</coValue>
               <o3Value>0.015</o3Value>
               <no2Value>0.044</no2Value>
               <pm10Value>38</pm10Value>
               <pm25Value>24</pm25Value>
           </item>
           <item>
               <dataTime>2021-02-05 19:00</dataTime>
               <cityName>노원구</cityName>
               <so2Value>0.004</so2Value>
               <coValue>0.5</coValue>
               <o3Value>0.026</o3Value>
               <no2Value>0.032</no2Value>
               <pm10Value>31</pm10Value>
               <pm25Value>16</pm25Value>
           </item>
           <item>
               <dataTime>2021-02-05 19:00</dataTime>
               <cityName>도봉구</cityName>
               <so2Value>0.003</so2Value>
               <coValue>0.3</coValue>
               <o3Value>0.029</o3Value>
               <no2Value>0.022</no2Value>
               <pm10Value>20</pm10Value>
               <pm25Value>9</pm25Value>
           </item>
       </items>
       <numOfRows>10</numOfRows>
       <pageNo>1</pageNo>
       <totalCount>600</totalCount>
   </body>
</response>

2) 환경공단 대기오염 정보 vsCode에서 JSON 포맷 가져오기

Postman에서 잘 가져오는지 확인하였으면, vsCode에서 requests 주소 변수로 대입
아래 출력 결과는 Postman에서 가져온 XML과 일치함

API url이 길기 때문에 Service_Key와 요청변수를 변수에 담은 후 주소에 연결시킴
✍🏻 python

import requests
Service_Key = 'API 신청 후 받은 Key'
params = '&numOfRows=10&pageNo=1&sidoName=서울&searchCondition=DAILY'
open_api = 'http://openapi.airkorea.or.kr/openapi/services/rest/ArpltnInforInqireSvc/getCtprvnMesureSidoLIst?ServiceKey=' + Service_Key + params
res = requests.get(open_api)
print(res.text) #Postman에서 가져온 XML과 일치함

3) XML형식으로 가져온 공공 API 활용하기

일반적으로 JOSN 이나 XML 형식이 가장 많이 사용되고 있음

XML은 CSS속성이 아닌 태그이므로 find나 find_all을 이용해 타게팅 함

✍🏻 python

import requests
from bs4 import BeautifulSoup
Service_Key = 'HbJoqYXuPaywwa%2BAWgpMFjmgwbLwqM63jQtmD%2FgLOhWBeMo%2BFas33cpofjKIplNiuh3l4JQdxdDGDzVyBX6hdA%3D%3D'
params = '&numOfRows=10&pageNo=1&sidoName=서울&searchCondition=DAILY'
open_api = 'http://openapi.airkorea.or.kr/openapi/services/rest/ArpltnInforInqireSvc/getCtprvnMesureSidoLIst?ServiceKey=' + Service_Key + params
res = requests.get(open_api)
soup = BeautifulSoup(res.content, 'html.parser')
# 지역, pm지수 추출
data = soup.find_all('item')
for item in data:
   cityname = item.find('cityname')
   pm10value = item.find('pm10value')
   print(cityname.get_text(), pm10value.get_text())