15일차. LLM based Knowledge Graph Generation
- Multi-turn conversation에서 20개의 메시지 데이터와 그 이전의 대화 내용 요약을 가지고 있는 상황.
- LLM을 활용하여 대화 내용을 기반으로 지식 그래프를 작성하고 이를 Neo4j DB에 저장하려고 한다.
- 몇 가지 방법을 시도했지만 결론부터 말하면 실패. 퀄리티가 떨어지거나 출력 토큰 한계에 부딪힌다.
- 1회의 LLM 호출로 모든 문제를 해결하는 것은 사실상 불가능해 보인다.
langchain_experimental에 포함된LLMGraphTransformer를 사용해보았다. 프롬프팅을 자유롭게 할 수 없고, 실험적인 모듈이다보니 코드가 지저분했다. 심지어 노드와 관계의 속성은 제대로 추가되지 않는다.- 직접 시스템 프롬프트와 메시지 프롬프트를 작성하여 Cypher Statement를 작성하도록 LLM에게 지시해보았다. LLM이 추출한 내용은 내가 원하는 만큼 정밀하지 않았고, 가끔 문법 오류를 일으키기도 했다.
- High-level의 접근법으로 처리하기 어렵다고 판단된다. 여러 LLM에게 예시를 제공하여 정보를 구조화하고, 구조화 된 정보를 tool call 방식으로 쿼리화하는 방법으로 시도할 계획이다.
- 특히, 노드를 생성하는 것은 쉽지만, 노드 간의 관계의 수가 너무 많고 복잡하기 때문에 이 부분에서 출력 토큰 수 제한을 초과하지 않도록 작업을 쪼갤 필요가 있어보인다.
