Abstract

상황 : llm이 계속해서 성장하고, 그들의 application 또한 엄청나게 성장하고 있다.
문제 : evaluating llm behavior and crafting effective prompt chain을 하는 것은 remain challenge로 남아있다.

구체적인 문제 : 많은 user들은 어디서부터 시작해야하는지, 즉 "blank page problem"을 갖고 있다.
=> 이것을 chainbuddy가 해결할 것!

1. Introduction

• 문제
  문제 : 수많은 세월동안, "blank page problem"을 경험함.
  (blank page problem : uncertainty and difficulty of knowing where to begin)
  => 기존의 해결방법 : promptfoo. flowise, 가이드를 위한 assistant

• 제안
  따라서, ChainBuddy를 제안한다.

• 구체적인 방법
  existing open-source virtual environment인 ChainForge 위에!
  (ChainForge : query multiple llms , compare response quality)
  => structured assistance를 할 수 있도록!

2. Design

목적 : creating a fexible, user-friendly interface that could support a wide range of use cases beyond just prompt engineering
구체적인 방법 : we decided on a chatbot-style interface within the ChainForge platform.

2.1 Architecture

• ChainBuddy
  : LangGraph에 built되었다. llm과 함께 stateful, multi-actor application을 design하기 위해 만들어진 것이다.

• Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models와 Baby-AGI에 영감을 받아서,
  ChainBuddy's user requirements에 base해서 long-term plans를 만들게 했다.
  그리고 나서 specific,manageable actions로 나누고 individual agent들이 그걸 수행하도록 했다.

Key architectural features :
1) explicit long-term planning : clarity and direction throughout the evaluation process
2) task-specific agents : focused exicution을 위해.
3) capacity for flexible interactions : long-term interactions.

3. Early FeedBack