요약 프롬프트 작성기

내가 구현해야할 기능은 크게 두 가지다.

1. 스크립트 본문 요약
2. 스크립트 기반 챗봇

기존 계획: 모든 요약을 한 번에 생성

전체 스크립트를 가지고 목차와 본문 요약을 만드려고 했다.
근데 원하는 출력값을 얻기 위해 프롬프팅을 하다보니

1. 스크립트 길이 + 프롬프트 길이 => 토큰 너무 사용
2. 출력 포맷을 원하는대로 맞추려고하니 템플릿 프롬프트가 추가적으로 또 들어감

이라는 문제가 발생해서 줄일 방법에 대해 고민해봤다.
챗봇에 사용될 벡터 디비를 사용하고 싶다는 생각이 들었고, 아래와 같은 방법을 생각해냈다.

새로운 전략

1. 스크립트 전처리 및 목차 생성

• 원문 스크립트의 어색한 단어나 문장을 LLM으로 가공.
• 의미는 유지하고, 없는 단어나 어색한 단어만 자연스럽게 다듬음
• 1~2 레벨 계층형 목차도 llm으로 동시에 생성

2. 벡터 DB 저장

• 가공된 전체 스크립트를 청킹 후 임베딩.
• 벡터 DB에 저장

3. 본문 요약 생성

• 추출된 목차를 질문 프롬프트로 활용하여, 백터 DB에서 관련 내용 리트리브.
• 해당 내용을 기반으로 요약문 생성.

이렇게 해서 입력 토큰도 줄이고, 답변의 일관성도 더 쉽게 유지할 수 있게 되었따.