[boostcamp] Day 29. 첫 프로젝트 시작!

드디어 첫번째 프로젝트이자 대회이다,,!

사실 어제부터 모델 이것저것 돌려보고 있었다.

Roberta-small
Roberta-large
Kobert
Sentence-Roberta-large
KoElectra 등등

근데 출력 형식이 안 맞는건지 몇몇 모델들은
아예 돌아가지 않았다,,!
kobert의 실험 결과가 제일 궁금했는데,
아직 유사도 분석의 프로세스를 확실히 모르다보니
어딜 만져야할 지 모르겠다.

내 생각이지만, 코드를 이해하는 것도 중요하지만
모델의 출력을 파악해보는 것도 중요한 것 같다.
한 번 이것저것 실험 해봐야겠다.

현재 사용하는 것들

전처리, k-folds, wandb

사용해볼 것들

sweep

첫날 후기

역시 큰 모델이 답인가 ,,?
전처리도 안 한 raw 데이터로 웬만한 모델보다 성능이 너무 잘 나온다.
epoch을 그리 크게 돌리지 않았는데도 너무 잘 나와서 놀랐다.

.ckpt 파일에서 모델 불러오기

model = Model.load_from_checkpoint(ckpt_path)

여기서 Model은 미리 생성해둔 모델 클래스이다.