🗳️ 네이버 검색 API 발급하여 키워드 언급량 추출 | 장래 정치 지도자 트렌드 분석 프로젝트 #3

💡 JSON vs XML 중 JSON을 선택한 이유

• 가독성과 사용 편의성 : JSON은 {key: value} 형식이라 사람이 읽고 쓰기 쉽고, XML보다 구조가 간단함, Python에서는 dict로 쉽게 변환할 수 있어 다루기 편리함.
• 빠른 데이터 처리 속도 : JSON은 Python의 json.loads()를 사용하면 바로 dict로 변환됨 → 파싱 속도가 빠름, XML은 ElementTree 같은 라이브러리를 써야 하고, 태그를 파싱해야 하므로 더 느림.
• 데이터 크기 및 네트워크 효율성 : JSON은 없이 {} 형식이라 XML보다 데이터 크기가 작음 → 네트워크 전송 비용 절감, 같은 데이터를 보낼 때 JSON이 더 가볍기 때문에 API 응답 속도가 더 빠를 수 있음.

---

🍀 네이버 개발자센터 API 발급

---

1. 공식 사이트

• 검색 > 뉴스 - Search API - 네이버 개발자 센터
• 검색 > 블로그 - Search API - 네이버 개발자 센터
• 네이버 개발자센터 API 발급 사이트가 바뀐 것 같습니다. 최근 1년 사이의 관련 블로그 자료가 부족해 공식 사이트를 참고하는 게 가장 확실합니다.

---

2. key 발급 신청

• 뉴스와 블로그는 '검색' 카테고리이고, 하루 25,000회 호출이 가능한, 비로그인 오픈 API 입니다.
  
• 위 설명을 참고하여 API 발급을 위해서 필요한 애플리케이션을 만들었습니다.
• http://localhost:3000 8080 포트는 airflow가 차지하였으므로, 흔히 쓰이는 3000포트를 지정하였습니다.
  

---

3. key 발급 완료

• 위와 같이 발급받은 키를 docker의 settings.py 파일에 하드코딩할지, 혹은 다른 더 나은 방법이 있는지 고민해 보겠습니다.
  

CLIENT_ID = 'YOUR_CLIENT_ID'  # 네이버 개발자 센터에서 발급받은 클라이언트 아이디
CLIENT_SECRET = 'YOUR_CLIENT_SECRET'  # 네이버 개발자 센터에서 발급받은 클라이언트 시크릿

---

🍀 샘플 데이터 확인하기

---

1. 네이버 깃허브 api 명세서

• 네이버의 공식 깃허브에 들어가면 api의 파라미터와 응답 예시를 확인할 수 있습니다.
• 뉴스 : naver/naver-openapi-guide/ko/service-apis/search/news
• 블로그 : naver-openapi-guide/ko/service-apis/search/blog/blog
• 25년 3월 기준 제공되는 파라미터가 적어 조작을 할 수 있는 방법이 많지 않습니다. 그래도 하루 25,000번 호출이 가능하니 많은 데이터를 모을 수는 있을 것 같습니다.
  
• 네이버 뉴스 및 블로그 api는 특정 "키워드"를 검색하여 데이터를 반환하는 것이 특징입니다. 그렇기 때문에 저는 장래 정치 지도자 후보자들의 이름을 키워드로 설정하도록 하겠습니다.

---

2. 샘플 코드

• 25년도 3월 기준 예제 코드는 블로그 검색의 경우만 제공되어 있지만, 뉴스도 거의 동일한 방식으로 데이터를 추출할 수 있습니다.

# 네이버 검색 API 예제 - 블로그 검색
import os
import sys
import urllib.request
client_id = "YOUR_CLIENT_ID"
client_secret = "YOUR_CLIENT_SECRET"
encText = urllib.parse.quote("검색할 단어")
url = "https://openapi.naver.com/v1/search/blog?query=" + encText # JSON 결과
# url = "https://openapi.naver.com/v1/search/blog.xml?query=" + encText # XML 결과
request = urllib.request.Request(url)
request.add_header("X-Naver-Client-Id",client_id)
request.add_header("X-Naver-Client-Secret",client_secret)
response = urllib.request.urlopen(request)
rescode = response.getcode()
if(rescode==200):
    response_body = response.read()
    print(response_body.decode('utf-8'))
else:
    print("Error Code:" + rescode)

---

🍀 PostgreSQL 테이블 코드 짜기

---

1. 뉴스 테이블

• 뉴스 데이터 반환 샘플
  
• 고려사항 1 : original_link가 PK격인데(기사가 삭제되는 경우도 있기 때문) 중복 데이터 방지를 위해 UNIQUE NOT NULL 조건이 들어가야 한다. 그런데 샘플을 보니 NULL값이 있다. 그렇다면 Transform 과정에서 해결하도록 하자. ELT가 아닌 ETL로 가야 한다.
• 고려사항 2 : title에 후보자의 이름, 즉 키워드가 포함되지 않은 경우가 있다. 이것도 Transform에서 걸러야겠지..?
• 고려사항 3 : pubdate는 뉴스 발행일인데, 형식이 맘에 들지 않는다. yyyy-mm-dd 형식으로 바꾸도록 한다.

-- naver_news
CREATE TABLE IF NOT EXISTS naver_news (
    kid SERIAL PRIMARY KEY,
    keyword TEXT NOT NULL,
    title TEXT NOT NULL,
    original_link TEXT UNIQUE NOT NULL,  -- 중복 데이터 방지
    naver_link TEXT UNIQUE NOT NULL,
    description TEXT,
    published_date DATE NOT NULL,
    FOREIGN KEY (keyword) REFERENCES candidate_info(candidate_name) ON DELETE CASCADE
);

---

2. 블로그 테이블

• 블로그 데이터 반환 샘플
  
• 고려사항 1 : 블로그 데이터는 체감상 뉴스보다 정확도가 더 괜찮은 것 같다. 뉴스는 여러 신문사 웹사이트 정보를 가져왔지만 블로그는 네이버 오리지날이기 때문이다. 그렇지만 혹시 몰라 title에 키워드 포함여부를 확인하고 적재하도록 한다.
• 고려사항 2 : 블로그 사용자들이 이모지를 써서 자료형이 TEXT인 컬럼에 이모지가 들어간다. GPT에게 물어본 결과 PostgreSQL의 TEXT 자료형은 UTF-8을 기본 인코딩으로 사용하기 때문에 이모티콘을 정상적으로 저장할 수 있다고 한다. 다행
• 고려사항 3 : 날짜 형식

-- naver_blog
CREATE TABLE IF NOT EXISTS naver_blog (
    kid SERIAL PRIMARY KEY,
    keyword TEXT NOT NULL,
    title TEXT NOT NULL,
    link TEXT UNIQUE NOT NULL,  -- 중복 데이터 방지
    description TEXT,
    blogger_name TEXT,
    blogger_link TEXT,
    post_date DATE NOT NULL,
    FOREIGN KEY (keyword) REFERENCES candidate_info(candidate_name) ON DELETE CASCADE
);