한국어 금융 데이터셋 파인튜닝 챗봇

이 글에서는 Bllossom의 LLaMA 기반 한국어 언어 모델을 한국어 금융 데이터셋으로 파인튜닝한 과정을 다룬다. 자원이 한정되어있기 때문에 최적화된 파인튜닝을 위해 LoRA와 4비트 양자화 기법을 사용하여 학습했다.

파인튜닝한 모델을 테스트하는 과정에서 대부분의 답변이 max token까지 비슷한 문장을 반복해 생성되는 문제가 발생했다. 이런 문제를 해결하기 위해 문제 상황과 원인을 분석하고 해결책을 찾는 디버깅 과정을 수행하였다😭 먼저 많은 검색을 통해 라마 모델의 패딩토큰