정의
- Aigentic Chunking은 의미적으로 연관된 텍스트 단위(Chunk)로 나누는 기법
- 단순한 토큰 수 기반 나누기 방식과 달리 문맥과 의미를 유지하면서 문서 분할
필요 이유
- 자연스러운 문장 분할 : 문장이 잘려서 의미가 흐트러지는 문제 방지
- 효율적인 LLM 입력 : 의미 있는 Chunk 단위로 나누면 모델이 더 잘 이해할 수 있음
- 정보 검색 및 분석 최적화 : 검색 엔진, 문서 요약, AI 응답의 정확도를 높이는데 도움
작동방식
분할기준
- 문장 단위 : 문장이 완결된 단위인지 확인
- 단락 단위 : 논리적으로 같은 주제인지 확인
실습
LLM을 활용하여 문서 내 문단 간 연관성을 판단하고 관련된 문단들을 하나의 그룹으로 묶는 Aigentic Chunking 수행
