3차 미니 프로젝트
주제 : LLM 을 연동한 내외부 문서 기반 질의 응답 시스템
· 환각을 방지하고 원하는 내외부 데이터 내에서 RAG 기반 LLM 활용 질의 응답 시스템 구현
· 문서를 벡터 형태로 임베딩하여 벡터데이터 베이스에 저장 및 검색
· LangChain을 활용하여 벡터데이터베이스와 LLM 연동
산출물
수집된 데이터 및 데이터 전처리 문서
시스템 아키텍처
개발된 소프트웨어: RAG 기반 LLM과 벡터 데이터베이스 연동 구현 및 화면
챗문철
우리 조는 이번에 '챗문철'을 하기로 했다. 챗문철은 ChatBot + 한문철의 합성어로 이번 프로젝트를 통해 한문철 변호사의 성격과 지식을 가진 챗봇을 만들겠다는 목표를 가졌다. 자세한 것은 프로젝트 포스팅에서...
프로젝트 후기
이번 프로젝트도 만족스럽다. 일단 부트캠프 LLM과정인데, 유의미한 챗봇을 만들었고, 현재 서비스 중인 법무법인보다 검증 정량적 지표에서 우위를 가지고 있는 부분에서 놀랐다. 추후에 보완해야 할 부분은 평가자와 웹 검색 그리고 파인튜닝이라는 요소를 넣을 것이다. 현재는 전통적인 RAG수준이기 때문에 환각에 대한 부분은 여전히 존재할 가능성이 있다. 시간 날때마다 해당 부분을 넣어 답변 신뢰도를 높일 계획이다.
네트워크
프로젝트 끝나고 인터넷 이해라는 수업을 들었다. 인터넷이 어떻게 시작됐고, 발전됐는지에 대한 강의 내용이었다. 사실 근본적으로 궁금했던 내용이기도 하고, 앞으로 백엔드 개발자가 되기 위해서 필수적으로 알아야 하는 부분이라 흥미가 있었다.

데이터가 어떤 방식으로 수신 및 발신되고 PORT, IP, MAC이 어떤 역할을 하는지도 알게되었다. 보안만 아니면 다양한 실험을 하고 싶을정도로 꽤 흥미로웠다.

네트워크 분석을 위해 'Wireshark'를 사용했다.

패킷 분석을 통해 내가(혹은 누군가가) 어떤 데이터를 주고 받는지 알 수 있다. 이렇게 이미지 데이터를 중간에 조회해서 디코더를 하면 이미지를 얻을 수 있다.