프로젝트 진행 과정
1. KorQuAD 데이터셋 전처리
(1) 띄어쓰기 단위 정보관리
(2) Tokenize by Vocab
(3) Improve Span
(4) 데이터셋 분리
(5) 데이터 분석 : Question
(6) 데이터 분석 : Context
(7) 데이터 분석 : Answer
(8) 데이터 분석 : Word Cloud
(9) 데이터 로드
2. LSTM model
(1) 모델 설계
(2) 모델링
(3) 시각화
3. BERT model
(1) 임베딩
(2) 모델 설계
(3) 모델 훈련 함수 구현
(4) 모델 평가 함수 구현
(5) 모델링
4. pretrained model
(1) pretrained model 로딩하기
(2) pretrained model finetune 하기
(3) Inference 수행하기
(4) 학습 경과 시각화 비교 분석
구현한 프로젝트
회고
Non Pretrained Model
loss는 높고 accuracy는 낮은 결과
Pretrained Model
정답에 대한 예측을 잘 하긴했지만 정확한 정답만 도출되는 것 보다 사족이 딸려오는 경우가 빈번하게 나타남
Non pretrained model보다 성능 개선됨
