📚DEVOOK 개발일지 - 키워드 추출 테스트

✔️해당 테스트 목표

DEVOOK의 기능 중 사용자가 저장한 블로그 글의 주제에 적합한 키워드를 자동으로 추출하여 글을 분류하는 기능이 있다. 해당 기능 구현을 위해 관련 기술을 조사하고 키워드 추출 테스트를 진행하였다.

✔️채택 기술 및 이유

채택 기술

Azure Cognitive Service for Language에서 핵심 구 추출

선택 이유

해당 기술은 Azure Cognitive Service for Language에서 제공하는 기능으로 비정형 텍스트를 평가하고 각 입력 문서에 대해 텍스트의 핵심 구 및 주요 지점 목록을 반환한다.
(Azure Cognitive Service for Language란 텍스트를 이해하고 분석하기 위한 NLP(자연어 처리) 기능을 제공하는 클라우드 기반 서비스임)

#1 직접 기능을 구현하는 것보다 시간이 덜 들고 효율적임
AI 모델을 개발해본 경험이 있는 팀원이 없었고, 해당 프로젝트에서는 AI 기술보다 백엔드 서버 개발에 더 초점을 두기 위해서 미리 구현되어 추가 사용자 지정 없이 그대로 수행 가능한 서비스를 사용하기로 하였다.

#2 요구 기준 모두 만족
키워드 추출 서비스 중 우리 프로젝트 기능 구현 시 가장 적합한 것을 고르기 위해 기준을 세워 선택하였다.

이름	분석 언어 지원(한국어, 영어)	한글 & 영어 2개의 언어에 대한 동식 분석 가능 여부	호출 구현 방식	코딩 언어 지원	장점	가격
Azure 핵심 문구 추출	모두 지원	가능	1) REST API 호출, 2) Azure 클라이언트 라이브러리 사용	.NET, Python, Java, Node.js	공식문서가 잘 나와있음, 사용이 편리함(REST API & 클라이언트 라이브러리 모두 지원)	Language Service pricing

✔️테스트 수행 내용

주요 내용 : 크롤링한 블로그 글에 대한 Azure 핵심 구 추출 테스트
호출 구현 방식 : Azure 클라이언트 라이브러리
대상 블로그 : tistory, velog, medium
테스트 수행 조건 : 전처리 X (원문 크롤링만 해옴), Azure 핵심 구 추출 기능 호출 시 설정되어있는 문자 수 제한(5120 text)에 맞춰 크롤링한 문자열을 잘라서(Python 문자열 인덱싱 사용) List에 저장함

Step1. Azure Cognitive Service for Language에서 제공하는 기능에 대한 액세스 권한을 부여하는 Azure 언어 리소스를 생성 (API 요청 인증에 사용하는 Key 및 엔드포인트 URL 생성)
참고) Azure 리소스 그룹 만들기, 리소스 공급자 등록(subscription)

Step2. Python 클라이언트 라이브러리를 사용하여 요청 생성 후 테스트
1) 요청을 위한 인증 및 핵심 구 추출 기능 호출 코드

# -*- coding: utf-8 -*-
import json
import os.path

# Azure 핵심 구 추출 클라이언트 라이브러리 
from azure.ai.textanalytics                     import TextAnalyticsClient
from azure.core.credentials                     import AzureKeyCredential

from key_phrase_with_crawler.get_test_document  import get_test_document

# ㄱ. 요청 인증에 사용되는 Endpoint & 비밀 키 
endpoint    = "https://koreacentral.api.cognitive.microsoft.com/"
secret_file = os.path.join('.', 'secrets.json')
with open(secret_file) as f:
    secrets = json.loads(f.read())


# Authenticate the client using your key and endpoint
def authenticate_client():
    ta_credential           = AzureKeyCredential(secrets["azure_secret_key"])
    text_analytics_client   = TextAnalyticsClient(
        endpoint    = endpoint,
        credential  = ta_credential)
    return text_analytics_client


client = authenticate_client()


# Test key phrase extraction with crawler
def key_phrase_extraction_example(client):
    try:
        documents   = get_test_document()
        response    = client.extract_key_phrases(documents=documents, language="ko") # ㄴ. 데이터가 포함된 비정형 원시 텍스트 전달
        print(response)

    except Exception as err:
        print("Encountered exception. {}".format(err))


key_phrase_extraction_example(client)

ㄱ. 요청 인증에 사용되는 Endpoint & 비밀 키
발급받은 비밀 키는 노출되면 안되기 때문에 secrets.json 파일에 따로 저장해두고 해당 파일을 통해 비밀 키 접근하도록 설정함
ㄴ. 데이터가 포함된 비정형 원시 텍스트 전달
TextAnalyticsClient 클래스에 정의되어 있는 extract_key_phrase()를 호출하여 핵심 구 추출 수행함. 이때 인자로 비정형 원시 텍스트 전달함

2) 크롤링한 데이터 잘라서 리스트에 저장하는 코드

from key_phrase_with_crawler.lambda_function_for_test import lambda_handler


def get_test_document():
    content = lambda_handler(
        {
            "url": "https://medium.com/musinsa-tech/mab-211d14d2090b"
        },
        None,
    )

    # 기능 : 크롤링한 데이터(문자열)를 5120 만큼씩 잘라서 list에 저장하기
    test_document = []
    for i in range(0, len(content), 5120):
        if len(content) - 1 - i < 5119:
            test_document.append(content[i:])
        else:
            test_document.append(content[i:i + 5119])

    return test_document

→ 크롤링한 데이터(문자열)가 Azure 핵심 구 추출 서비스 데이터 허용 한도보다 큰 경우가 있기 때문에 해당 텍스트를 제한된 크기인 5120자 씩 잘라서 리스트에 저장하였음

참고)

# azure.ai.textanalytics.TextAnalyticsClient 클래스에 정의되어 있는 extract_key_phrases()의 코드 중 일부

@distributed_trace
    def extract_key_phrases(  # type: ignore
        self,
        documents,  # type: Union[List[str], List[TextDocumentInput], List[Dict[str, str]]]
        **kwargs  # type: Any
    ):

→ 요청 시 인자로 전달할 데이터의 형태는 List[str], List[TextDocumentInput], List[Dict[str, str]] 이 3가지 중 선택 가능함

Step3. 테스트 수행 결과 확인

# ex) Medium 블로그 글에 대한 핵심 구 추출 결과 

{
  'id': '0', 
  'key_phrases': ['Thompson Sampling 알고리즘Thompson Sampling', 'Upper Confidence Bound', 'MUSINSA techFollow', 'Event Bus', 'BetaDistribution betaDistribution', 'new BetaDistribution', 'BigDecimal bd', 'new BigDecimal', 'return bd', 'Armed Bandit', 'double impression', 'double number', 'Apache Kafka', 'Apache Druid', 'Druid 서버는', 'MAB 알고리즘', 'ug', '실시간 MAB 정렬 시스템 구축', 'CTR', 'Multi', 'fresh', 'MAB란 카지노', 'Exploration', 'Exploitation', 'Greedy 알고리즘ε', 'UDB', 'Elasticsearch', 'Lucene', 'Master', 'Data', 'Query', 'Cluster', 'Segment', 'SQL', 'Rollup', 'day', 'hour', 'thompsonSampling', 'click', 'Round', 'sample', 'FAULT', 'CALE', 'LIMIT', 'public', 'HALF', 'Value', 'score', 'brand', 'wvproject', 'impCnt', 'kCnt', 'travel', 'vans', 'newbalance', 'fit', 'mindbridge', 'Redis', '서비스 API', 'MAB 정렬 데이터', '무신사 전시개발팀', '이벤트 버스', '홍승표', '무신사는', '콘텐츠 기반', '커뮤니티', '스토어', '고객', '다양한 정보', '실시간 이벤트', '배너', '검색', '태그', '상품', '아이덴티티', '브랜드', '페이지', '정보가', '문제는', '양 대비', '웹', '앱', '공간', '상황에서', '결과', '방식', '이번', '글', '무신사가', '문제 개선 방향', '땐 관리', '효율성', '수동 관리', '노출 순서', '하위', '상위', '문제점', '횟수', '클릭', '확률', '미', '높', '실시간으로', '사용자', '트렌드', '성별', '연령', '분류', '장점', '자동화', '기준', '관심', '특정', '착', '위 목표로', '관리자', '에너지', '소모', '처음', '변화가', '판매순 통계', '순서 정렬', '할인 이벤트에', '리프레쉬', '구체적인 적용 방법', '개념', '레버', '슬롯머신', '승률', '수익', '탐색', '수확', '과정', '비용', '최대한', '적절한', '조화', '하나만', '필요', '종류가', '장단점', 'ε 비율', '보상', '선택', '성과', '곳에', '대상', '기회', '리소스가', '신뢰도', '튜닝 버전 알고리즘', '시도', '연산', '조건에서', '환경', '요인', '좋', '성능', '피드백', '성공', '실패', '분배', '로그 데이터', '컴퓨팅 부하', '작업에', '데이터 수집', '기본 정보', '행동', '데이터는', '데이터 스트리밍 플랫폼에', '시계열 데이터 저장소', '역할', '시중에', '데이터베이스', '텍스트', '숫자', '위치 기반 정보', '정형', '유형', '루씬', '분석 엔진', '대시보드', '오픈소스', '스트림 프로세서', '데이터에', '롤업', '스토리지', '질의에', '빠른 속도', '기존', '경험', '다루는', '서버 구성', '클러스터', '형태로', '메타데이터 관리', '스트림 데이터', '세그먼트', '데이터 질', '응답', '당시 최신 버전', '최근', '데이터 스트림', '기능', '시간 단위', '필드 단위로', '샘플링 값', '메모리 캐싱', '단계', '콘텐츠에', '낮'], 
  'warnings': [], 
  'statistics': None, 
  'is_error': False
}
{
  'id': '1', 
  'key_phrases': ['MAB 정렬 시스템', 'MAB 알고리즘', 'MAB 정렬 순서 변경', 'MAB정렬', 'Druid', 'Discount', 'Thompson', 'ling', 'https', 'medium', 'com', 'data', 'reply', 'it', 'tech', 'apache', 'ad', 'bb', 'cd', 'f', 'wonyong', 'jang', 'gi', 'ub', 'io', 'Big', 'html', 'ichi', 'pro', 'ko', 'hyeondae', 'bunseog', 'pilsu', 'yoso', 'en', 'wikipedia', 'org', 'armed', 'sanghy', 'ukch', 'seing', 'tistory', '지금', '린', '전체적인 아키텍처', '아래 그림', '점인기 브랜드 리스트', '좌', '우', '기존', '고정된', '순서로', '유입', '상위', '실시간 성과', '사용자 관심도', '흐름', '순위가', '기회', '효과', '클릭율', '일정 수준', '노출', '탐색', '신사는', '로그', '데이터', '기간', '무신사 스토어', '해당', '영역', '클릭률', '결과', '마치', '위에서', '캠페인', '기획전', '다양한', '페이지', '상품', '아가', '작업', '성별', '구성', '과거', '가중치', '병행', '산점', '기능', '구매', '장바구니', '향후', '연령', '감사'], 
  'warnings': [], 
  'statistics': None, 
  'is_error': False
}