개인프로젝트 - Chatbot

챗봇을 쥐어주지 않으면 언어능력이 급격히 하락하는 키보드 파이터인 나는, 작년 상반기부터 llm을 학습시켜 전투력을 극대화한 말싸움 챗봇이라는 것(?)을 만들고 싶어했다. 물론 작년에는 이런저런 일들로 좀 바빴다. 하지만 올해부터는 절대 야근하지 말자는 나와의 약속

아 참고로 티가 났겠지만, 필자는 문과 비개발자다. 훈련, 추론 모두 PEFT를 사용하였다. 3. Train Data 1. 4-bit-양자화 LLM 모델 내부에는 거의 10.7B개의 파라미터가 있으며, 용량도 30GB가 넘는다. 내 데이터는 고작 2만개다. 따라서

5. 2단계 학습 충격적이었던 챗봇의 대답의 원인을 찾은 결과, 카카오톡 대화를 과학습했기 때문이라는 답변을 GPT에게서 받았다. 그렇다.. 과학습을 어디서 했는지 뭘 어떻게 바꿔야 하는지 감도 못 잡은 채 시간만 보냈다. 고민한 결과, 다소 정제된 결과로 1차