개요
대 AI 시대 이 강의를 듣기 이전부터 수십번 생각했던 LLM(Large Language Model) 구축. 이 강의로 실현했다. "나만의 챗봇을 만들 수는 없을까? 내가 어떤 문서를 주면 알아서 학습하고 문서를 참고해서 답을 주면 좋겠어"라는 니즈를 해결할 강의였다.
시스템 구조
USER QUESTION
↓
Dictionary Chain
↓
Modified/Original Question
↓
| RAG Chain |
|---|
| History Retriever |
| v |
| Reformulated Question |
| QA Chain |
| v |
| Final Answer |
↓
Conversation History Updated
↓
FINAL RESPONSE TO USER
알게된 점
- LLM 상용 제품들은 더 복잡한 알고리즘을 거치겠지만, 큰틀은 비슷할 것이라 생각했다.
- 데이터를 벡터DB에 넣고 최근접알고리즘으로 분류하는 과정을 보며 질문하는것도 중요하지만 데이터를 선처리 하는 과정이 더 중요하겠다 생각하였다.
- 파이선을 이번에 처음 사용하게 되었는데 잘사용할 수 있으면 참 좋은 언어겠구나 생각하게되었다.(노트북으로 단위 실행이 가능한게 편했음)
하고싶은 것
- 스프링으로 이거 구현 안되나? 실제로 구현해 보았는데 프론트가 없다. (코드는 여기)
- 구현하면서 느낀건데 생각보다 레퍼런스가 없고 VectorDB같은 경우 안되는 경우도 있었다.
- 스프링으로 구현한거를 조금 변형해서 문서를 넣으면 알아서 splite 및 벡터화 시키고, 벡터화 된 데이터를 가지고 질의해주는 LLM을 만들고 싶다.
- 세법을 가지고 테스트 했는데 워드문서 내에는 사진으로 된 표들이 여러개 있었다. 이것을 chatGPT가 이해 할 수 있게 자동으로 Markdown언어로 바꿔주는 기능을 만들고 싶다.
back end developer