- 환경설정 : 라이브러리 설치 및 데이터셋 로드 (train.csv, test.csv)
- 데이터셋 구축 : 입력 데이터를 train/vaild = 7.5:2.5로 나눈 후 Tokenizing 하여 torch dataset class로 변환
- 모델 및 토크나이저 가져오기: Huggingface의 사전학습된 (Pre-trained) 모델 로드
- 모델 및 토크나이저 가져오기 : Huggingface의 TrainingArguments & Trainer를 활용하여 학습데이터로 모델 학습
- 추론 및 평가: 학습된(Fine-tuned) 모델을 통해 평가 데이터 (Test data) 추론 및 평가(Evaluation) 진행
yozzum