LLM (Agent) 프로젝트 회고

작성 내용(필수):

• 나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했는가?
  • Agent에 대해서 개념과 여러가지 도구들을 살펴보았다.
    • 그 중의 하나인 OpenAI의 Function Call을 활용한 Agent 구축을 하였다.

• 전과 비교해서, 내가 새롭게 시도한 변화는 무엇이고, 어떤 효과가 있었는가?
  • 새롭게 시도한 점은 없었고, 예전처럼 문제의 핵심을 보려고 노력했고, Agent라는 우리 팀의 주제에 맞게 Agent가 무엇이며 Agent로 무엇을 할 수 있고 어떻게 구현해야 하는지 이론을 많이 공부했다.
• 마주한 한계는 무엇이며, 아쉬웠던 점은 무엇인가?
  • Function Call 학습을 통해서 Agent의 원리나 구조를 익혔다.
    • LangChain 기반한 좀 더 체계적인 Multi-agent 구축을 하여 실생활에 쓰일 수 있도록 하고 싶다.
• 한계/교훈을 바탕으로 다음 경진대회에서 시도해보고 싶은 점은 무엇인가?
  • HuggingFace 강의(Agent, NLP, Transformer)를 통하여 상용화 할 수 있는 Agent 시스템을 구축하고 나만의 라이브러리로 만들고 싶다. 충분히 강력한 제품으로 만들 수 있을 것 같다.

작성 내용(선택/참고):

• 나는 어떤 방식으로 모델을 개선했는가?

  • Agent가 활용할 수 있는 도구인 툴을 4개(네이버 검색API, 사용자 정보 CRUD) 정도 만들었다.

    • 

    • 만든 툴을 LLM이 자동 호출하는 흐름을 구축하여 동작해 보았다.

• 내가 해본 시도 중 어떠한 실패를 경험했는가? 실패의 과정에서 어떠한 교훈을 얻었는가?

  • 아무래도 LangChain같은 Library를 사용하는 것에 비해 좀 체계적이지 못해서 이미 다른 사람들이 겪었던 실수를 다시 하지 않았나 싶다. 다음에는 제대로 차근차근 진행해야겠다.
  • 한 예로 사용자 id를 모르면 질문해서 받으라고 LLM에게 얘기했는데, 얘가 계속 자기 맘대로 id를 지어내고, 그에 딸린 정보들까지 지어내는 것을 보고 (hallucination) 참담함을 느꼈다.

• 협업 과정에서 잘된 점/ 아쉬웠던 점은 어떤 점이 있는가?

  • 각자 자기가 관심있는 분야에서 호기심과 열정과 책임감을 갖고 임했던 점이 좋았고
  • 매번 아쉬운 점은 새로운 개념을 하나씩 익혀가면서 작업(프로젝트)을 해야하다보니 각자 자기가 맡은 단위테스트 끝내기도 급급해 통합테스트를 충분히 거치지 못한 점이다.
  • 하지만 매번 다른 프로젝트여도 같은 IT, AI, 깃헙 기반 프로젝트이기에 이전 프로젝트에서 미진했던 부분을 다음 프로젝트에서는 더 유창하게 구현해내는 것을 보고 전체 과정을 얕게 여러번 깊이를 늘려가는 방식이 훌륭한 설계라고 생각한다.