사용 모델
KcELECTRA-base
선정 이유
구어체 특징을 가진 챗봇의 사용자 입력 텍스트와 비슷한 특징을 가진
네이버 뉴스 댓글과 대댓글을 사용해 사전 학습을 시킨 모델이고,
챗봇이 수행할 Task와 비슷한 NSMC Task에서 가장 강력한 성능을 보여줍니다.
또한, Replaced Token Detection Task를 통해 모든 토큰에 대해 학습을 진행해
기존 BERT를 비롯한 많은 language model들에 비해 학습 속도가 빠릅니다.
- Replaced Token Detection(RTD): Generator에서 실제 입력의 일부 토큰을 그럴싸한 가짜 토큰으로 바꾸고, Discriminator에서 진짜 토큰인지 가짜 토큰인지 맞히는 이진 분류 문제이다.
KcELECTRA Performance
Chatbot 학습 데이터
웰니스 대화 스크립트 데이터셋 + 복지 추천용 자체 제작 데이터 총 5273개
KcELECTRA 챗봇 상세 흐름도
