✅ 목표

SERP Finance News API와 오픈소스 LLM을 활용해 자동으로 금융 뉴스를 모으고, JSON 형태로 요약해본다

✅ 코드 상세 분석

환경 설정 및 API 요청

• 환경변수를 불러오고 SERP API에 요청
• Google News 엔진으로 "Tesla"에 관한 뉴스를 검색

from dotenv import load_dotenv

# 환경변수 로드 (.env)
load_dotenv()

import requests
import json
import os

# API 키와 엔드포인트 URL 설정
api_key = os.getenv('SERP_API_KEY')
url = "https://serpapi.com/search.json"

# 검색 매개변수 설정
params = {
    "api_key": api_key,
    "engine": "google_news",
    "q": "Tesla",
    "lang": "ko",
    "country": "kr"
}

# API 요청
response = requests.get(url, params=params)

응답 처리 및 기사 필터링

• 성공적인 응답을 받으면 JSON 데이터를 파싱
• API 응답을 처리하고 Forbes 기사만 골라냄
  • Forbes 기사만 골라내는 이유: 이 글 예제에서는 파싱 로직을 Forbes 사이트에 맞게끔 해놨기 때문

if response.status_code == 200:
    data = json.loads(response.text)
    
    articles = []
    news_results = data.get("news_results", [])
    for article in news_results:
        link = article.get('link', 'N/A')
        
    	# forbes 기사만 필터링
        if 'forbes' in link:
            articles.append(article)
    
    for article in articles[:5]:
        print(f"제목: {article.get('title', 'N/A')}")
        print(f"링크: {article.get('link', 'N/A')}")
        print(f"출처: {article.get('source', 'N/A')}")
        print(f"게시 시간: {article.get('date', 'N/A')}")
        print("=====================================")
else:
    print(f"오류 발생: {response.status_code}")

실행결과

웹 스크래핑 및 콘텐츠 추출

• 뉴스 내용 스크래핑. 주요 기사 내용만 추출한다

import bs4
from langchain_community.document_loaders import WebBaseLoader

loader = WebBaseLoader(
    web_paths=[articles[0].get('link', 'N/A')],
    bs_kwargs=dict(
        parse_only=bs4.SoupStrainer(
            name=["div"],
            attrs={"class": ["article-body fs-article fs-responsive-text current-article article-topline"]},
        )
    ),
)
data = loader.load()

print(data[0].page_content)

실행결과

요약

• 오픈소스 LLM으로 추출한 기사 내용을 요약

from langchain_community.chat_models import ChatOllama

eeve = ChatOllama(model="EEVE-Korean-Instruct-10.8B-v1.0:latest")

prompt = f"""
당신은 금융 분야의 요약 전문가입니다. 

아래의 금융 관련 텍스트를 읽고, 다음 지침에 따라 요약해 주세요:
1. 전체 내용을 50단어 이내로 요약한 'summary' 필드를 작성해 주세요.
2. 핵심 내용을 5-10개 간결하게 정리해서 'key_points' 필드에 작성해 주세요.
3. 각 key_points 내용은 한 문장으로, 20단어를 넘지 않도록 해주세요.
4. 텍스트의 핵심 키워드와 관련된 단어나 개념을 10개 내외로 'tags' 필드에 추가해 주세요.
5. 전문 용어가 있다면 간단히 설명을 덧붙여 주세요.
6. 숫자나 통계가 있다면 반드시 포함시켜 주세요.
7. 요약은 객관적이고 중립적인 톤을 유지해 주세요.

응답은 반드시 아래의 JSON 형식을 따라 주세요: 
{{
    "summary": "전체 내용 요약 (50단어 이내)",
    "key_points": [
        "핵심 포인트 1 (20단어 이내)",
        "핵심 포인트 2 (20단어 이내)",
        "핵심 포인트 3 (20단어 이내)",
        "핵심 포인트 4 (20단어 이내)",
        "핵심 포인트 5 (20단어 이내)",
        ...
    ],
    "tags": ["태그1", "태그2", "태그3", ...]
}}

텍스트: 
{data[0].page_content}

위 지침에 따라 JSON 형식으로 요약해 주세요. 
"""
response = eeve.invoke(prompt)

# JSON 파싱
import json
parsed_response = json.loads(response.content)
parsed_response

실행결과