최근 NLP에서는 단순히 토픽을 추출하는 것에서 끝나지 않고, 추출된 토픽을 LLM으로 해석하는 방식이 많이 사용된다.
대표적인 예가 다음과 같은 구조이다.
문서
↓
SBERT
↓
BERTopic
↓
토픽 추출
↓
LLM
↓
토픽명 생성
토픽 설명 생성
인사이트 생성
보고서 작성그렇다면 이미 SBERT가 문맥을 이해하고, BERTopic이 토픽을 추출하는데 왜 굳이 LLM을 추가로 사용할까?
1. 대량 데이터를 효율적으로 처리할 수 있다
예를 들어 리뷰가 10만 건 있다고 가정해 보자.
LLM에게 직접 다음과 같이 요청할 수도 있다.
10만 개 리뷰를 분석하여
주요 주제를 추출하라.하지만 현실적으로는 다음과 같은 문제가 발생한다.
- 컨텍스트 길이 제한
- 높은 비용
- 긴 처리 시간
- 데이터가 많아질수록 성능 저하
반면 SBERT와 BERTopic을 사용하면 대량 데이터를 비교적 효율적으로 처리할 수 있다.
10만 개 리뷰
↓
SBERT 임베딩
↓
BERTopic
↓
20개 토픽 발견이후 LLM은 전체 리뷰를 읽는 대신 다음 정보만 읽으면 된다.
토픽 목록
대표 키워드
대표 문서즉, 처리해야 할 데이터 양이 크게 줄어든다.
2. 토픽 발견과 해석을 분리할 수 있다
LLM은 같은 입력을 주더라도 실행할 때마다 결과가 조금씩 달라질 수 있다.
예를 들어 동일한 리뷰 집합을 분석했을 때 다음과 같은 결과가 나올 수 있다.
실행 1
배터리 문제
실행 2
전력 관리 문제
실행 3
사용시간 문제의미는 비슷하지만 표현이 계속 바뀐다.
반면 BERTopic은 클러스터 자체를 안정적으로 생성한다.
배터리
충전
발열
사용시간이러한 토픽 구조는 비교적 일관되게 유지된다.
따라서 다음과 같이 역할을 분리할 수 있다.
토픽 발견
→ BERTopic
토픽 해석
→ LLM이 방식은 결과의 재현성과 안정성을 높여준다.
3. 토픽 설명이 훨씬 자연스러워진다
BERTopic 결과는 보통 키워드 중심으로 제공된다.
예를 들어 다음과 같은 결과가 나올 수 있다.
Topic 7
배터리
충전
발열
전력
사용시간이 정보만으로도 대략적인 의미는 파악할 수 있다.
하지만 보고서나 발표 자료로 사용하기에는 부족하다.
LLM을 활용하면 다음과 같이 자연스러운 설명을 생성할 수 있다.
이 토픽은 스마트폰 배터리 수명,
충전 효율, 발열 문제에 대한
사용자 경험과 불만을 나타낸다.사람이 읽기 쉬운 형태로 자동 변환되는 것이다.
4. 비즈니스 인사이트를 생성할 수 있다
토픽 모델링 결과에 감정 분석 결과를 결합할 수 있다.
예를 들어 다음과 같은 결과가 있다고 하자.
배터리 토픽
부정 85%
카메라 토픽
부정 20%
디자인 토픽
부정 10%단순 수치만으로도 정보를 얻을 수 있지만, LLM은 이를 종합하여 인사이트를 생성할 수 있다.
예시:
사용자 불만은 주로 배터리 관련 문제에 집중되어 있다.
특히 발열과 충전 속도에 대한 부정적인 의견이 많으며,
카메라와 디자인에 대한 평가는 전반적으로 긍정적이다.이러한 형태는 시장 조사 보고서나 VOC 분석 보고서 작성에 매우 유용하다.
5. 토픽 이름 붙이기를 자동화할 수 있다
전통적인 토픽 모델링에서는 사람이 직접 토픽 이름을 붙여야 했다.
예를 들어 다음과 같은 결과가 있다고 하자.
Topic 1
배터리
충전
전력
사용시간분석가는 이를 보고
배터리 성능과 같은 이름을 수동으로 지정한다.
반면 LLM은 자동으로 다음과 같은 이름을 생성할 수 있다.
스마트폰 배터리 성능 및 전력 관리또는
배터리 사용성과 충전 경험사람의 수작업을 크게 줄일 수 있다.
실제 실무에서 많이 사용하는 구조
최근 실무에서는 다음과 같은 조합이 매우 많이 사용된다.
문서
↓
SBERT
↓
BERTopic
↓
토픽 추출
↓
LLM
↓
토픽명 생성
토픽 설명 생성
인사이트 생성
요약 생성
보고서 작성각 구성 요소의 역할은 다음과 같다.
| 구성 요소 | 역할 |
|---|---|
| SBERT | 문장의 의미를 벡터로 표현 |
| BERTopic | 유사한 문서를 묶어 토픽 발견 |
| LLM | 토픽을 자연어로 해석하고 설명 |
정리
SBERT와 BERTopic만으로도 토픽을 발견할 수 있다.
하지만 발견된 토픽을 사람이 이해하기 쉬운 형태로 설명하고, 비즈니스 인사이트를 생성하며, 보고서 수준의 결과를 만드는 데에는 LLM이 매우 강력하다.
따라서 최근에는 경쟁 관계가 아니라 다음과 같은 협업 구조가 많이 사용된다.
SBERT
→ 의미 표현
BERTopic
→ 토픽 발견
LLM
→ 토픽 해석 및 인사이트 생성즉, SBERT와 BERTopic이 데이터를 구조화하고, LLM이 그 구조를 사람이 이해하기 쉬운 언어로 설명하는 역할을 담당한다. 이것이 최근 토픽 모델링 파이프라인의 대표적인 형태이다.
