가) 오늘 내 학습목표는 무엇이었나요?
- BM25 + PORORO
- 제출 기회 5번 모두 사용하기
나) 오늘 나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했나요?
- EM : 6.25%, F1 : 22.72%
- Okapi BM25 + PORORO
- tokenizer : bpe64k.ko
- EM : 4.58%, F1 : 24.39%
- Okapi BM25 + PORORO
- tokenizer : unigram64k.ko
- EM : 6.67%, F1 : 23.26%
- Okapi BM25 + PORORO
- tokenizer : jpe64k.ko
- EM : 4.58%, F1 : 26.03%
- Okapi BM25 + PORORO
- tokenizer : mecab.bpe64k.ko
- EM : 7.92%, F1 : 10.00%
- Okapi BM25 + PORORO
- tokenizer : char
다) 오늘 나는 어떤 방식으로 모델을 개선했나요?
- 개선하지 못했습니다…
라) 오늘 내가 한 행동의 결과로 어떤 지점을 달성하고, 어떠한 깨달음을 얻었나요?
- BM25에서는 언어 모델에 사용되는 tokenizer보다 mecab과 같은 클래식한 형태소 분석기가 더 좋은 성능을 보여준다는 것을 알 수 있었습니다.
- 공백('')을 정답으로 처리하는 이슈가 있다는 것을 알게 되었습니다.
마) 내일은 어떻게 다르게 시도해보실 수 있을까요?
- 내일은 공백과 장문으로 answer를 inference 하는 부분을 처리해볼 계획입니다.
마무리
오늘보다 더 성장한 내일의 저를 기대하며, 내일 뵙도록 하겠습니다.
읽어주셔서 감사합니다!
PLUS ULTRA