API를 통한 Data Extraction

공공 API 이용준비

공공데이터포털에서 한국산업인력공단_국가자격 시험교시 과목 정보을 사용하여 API 추출하기 !!

• 기본적인 공공 API 서비스를 위해 필요한 것 : API 의 endpoint 주소(url) + 요청항목 명세서(params) + 서비스키

  • endpoint 주소 : http://openapi.q-net.or.kr/api/service/rest/InquiryExamKmInfo/getList
  • params 주소 : ?jmCd=1160&pageNo=1&numOfRows=10
  • 서비스키 : &ServiceKey= 받은 서비스키
    • 서비스키는 마이페이지의 개인 API 인증키란에 따로 발급됨
      • encoding key 활용
  • 둘을 합치면(애초에 합쳐서 명세서에 존재한다) : http://openapi.q-net.or.kr/api/service/rest/InquiryExamKmInfo/getList?jmCd=1160&pageNo=1&numOfRows=10&ServiceKey

• 웹브라우저 주소창에 url+params+servicekey 입력해보면 요청한 결과가 출력되어 있다

---

Data Extraction

1. Python 환경에서 불러오기

# 라이브러리 가져오기

import lxml
import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
import math

service_key = "발급 받은 서비스키"
url = "인증키를 포함한 url"

2. XML 생성하기

req = requests.get(url)
req.content

soup = BeautifulSoup(req.content, "lxml")

3. JSON 형태로 바꾸기

req = requests.get(url)
content = req.json()

4. DataFrame으로 전환

row = content['tbLn0pendataRtmsV']['row']
df = pd.DataFrame(row)