Korean-NLP-model

이전 글 : 한국어 존댓말과 반말을 구별하는 방법(feat. komoran)오래전에 존댓말 , 반말을 한국어 형태소 분석기로 분류하는 간단한 방법을 소개했다.하지만 이 방법을 실제로 적용하려 했더니, 많은 부분에서 오류가 발생하였다.예를 들면)'저번에 교수님께서 자료

맞춤법 교정기에 대한 개발은 오래전부터 계속 되었다, 현재 hanspell, 이나 spacing 같은 맞춤법 교정 오픈소스들이 많이 공개되어있지만, 메신저 대화 문장이 대부분인 대화체 텍스트에서 오타로 인해 발생하는 맞춤법 오류는 잘 잡아주지 못했다."돼다, 되다"와

존댓말과 반말은 한국어에서만 존재합니다, 본 모델은 반말(informal)을 존댓말(formal)로 바꿔주는 변환기(convertor) 입니다. \*확보한 존댓말 데이터셋에는 "해요체"와 "합쇼체" 두 종류가 존재했지만 본 모델은 "해요체"로 통일하여 변환하기로 결정했

Polyglot-ko-5.8B 모델을 기반으로 AI허브에 공개된 연인들사이의 공감대화로 QLoRA 파인튜닝한 sLLM 챗봇 모델\*그냥 재밌어보여서 제작했습니다.Scheme출처 : AI허브 공감형 대화활용 데이터: 연인 \*부부, 친구, 연인 등 많은 상황에 데이터가