[논문 리뷰]AGENTS’ ROOM: NARRATIVE GENERATION THROUGH MULTI-STEP COLLABORATION

25' ICLR Poster

서론

선행 연구

• long-form story generation의 성능을 향상시키기 위한 다양한 방법이 시도 되었다.
  - 이야기의 outline이나 플롯, 캐릭터 설정 등을 먼저 구상하고 이를 바탕으로 세부 내용을 생성하는 방법.
  • 상식 기반 제약, 스타일 조건 등을 통해서 창의적으로 제어하는 방법.
  • prompt chaining, planning strategy등 복잡한 생성 과정을 단계적으로 처리하는 방법.
  • LLM을 활용한 human-LLM 협업 방법.

선행 연구의 한계

• 일관성, 문체, 사실성 유지가 어려움.
• 창의성 부족: 훈련 데이터에 있는 패턴을 반복하는 경향이 있기 때문이다.
• 데이터셋, 평가 기준 부족: 공식적인 데이터셋이나 표준화된 평가 기준이 부족함.
• 단일 모델 기반 접근의 비효율성: 하나의 LLM에 모든 작업을 맡기면 복잡한 문제에 대응하기 어려움.

선행 연구의 한계 해결 방법

• AGENTS’ ROOM이라는 multi-agent 기반 story generation 프레임워크를 제안한다.
  - 계획 agent와 작성 agent를 분리한다.
  • 오케스트레이터를 통하여 조율을 수행한다. → 전체 글쓰기 흐름을 통제할 수 있게 된다.
  • 평가 프레임워크, 데이터셋을 제안한다.

제안한 방법

• 계획 agent와 작성 agent가 협력하여 각자 맡은 하위 작업을 수행하고, 오케스트레이터가 이들의 순서와 필요성을 조정한다.
• 4개의 계획 agent(conflict, character, setting, plot)과 5개의 작성 agent(exposition, rising action ,climax, falling action, resolution)이 story generation 작업을 분담한다.
• 전체 내용을 공유하는 scratchpad를 통하여 상호작용하는 구조다.
  • scratchpad를 사용해서 이전의 이야기를 받아오고, 그것을 이용해서 다음 출력을 생성한다. → 중복되거나 불필요한 정보를 생성하지 않도록 조정할 수 있다고 주장한다.
• agent 학습을 위한 데이터 부족 문제를 해결하기 위해서 기존에 있는 story 데이터를 활용한다. LLM을 이용하여 계획과 작성 데이터를 backtranslation하여 학습 데이터를 만들었다.
• distillation 사용: 1) 계획 에이전트의 출력 생성, 2) 이야기의 구체적인 부분을 구분함.
  
• agent의 역할이 분화되어 있고, 서사 이론에 기반하여 구조화된 접근이 가능하다.
  - 줄거리 일관성 부족, 캐릭터 유지 실패, 텍스트 길이 제한 등의 한계를 극복할 수 있었다.
  

실험

• 대조군: 1) 제로샷 방식으로 한 번에 소설을 생성하는 방법, 2) 파인튜닝된 모델이 한 번에 소설 생성하는 방법, 3) story를 직접 생성하기 전에 다양한 방식으로 계획을 먼저 생성하도록 하는 제로샷 방식들.
• 실험군: 1) 계획 → 작성으로 구성된 agent 시스템, 2) 계획 agent, 3) 작성 agent.

평가 지표

• 인간 평가: plot, creativity, development, language use, 종합적 선호도를 평가한다.
• 자동 평가: Rouge-L, BertScore, 문장 구조 다양성, 단어 다양성, trigram 반복률, 프롬프트와의 중복률 등을 평가한다.
• 자동 평가(LLM): Gemini 1.5 Pro4 사용. 인간 평가 기준을 반영한 프롬프트를 이용하여 비교 평가를 수행한다.

결과

• 위의 표를 확인하였을 때, 계획 → 작성 → 비평으로 반복되는 단계의 점수가 대체로 높았다. (인간 제외)
• 평가가 너무 평면적이라고 생각한다. 평가 방법을 제안했다고 하기에는 부족하다고 생각한다. 데이터셋 제공이 맞는 주장인 것 같다.
  • backtranslation을 수행하여 기존에 존재하는 이야기를 사용하여 학습 데이터셋을 만드는 방법이 새로운 것이지, 그 외의 방법들은 특별히 새롭지 않다고 생각한다.
• 또한, 논문에서 제안하는 데이터셋이 충분하지 않다고 생각한다. → 토큰 수는 많은데 예시가 너무 적은 것 같다.