[P3] Week 1 Day 1

나며기·2021년 4월 27일
0

부스트캠프 AI Tech

목록 보기
59/79
post-thumbnail

가) 오늘 내 학습목표는 무엇이었나요?

  1. Baseline Code
  2. Okapi BM25 + PORORO
  3. 제출 기회 5번 모두 사용하기

나) 오늘 나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했나요?

  1. EM : 1.25% , F1 : 12.14%
  • Baseline Code
  • training_args.num_train_epochs = 10
  • training_args.per_device_train_batch_size = 16
  • training_args.learning_rate = 3e-5
  • training_args.fp16 = True
  • training_args.save_total_limit = 3
  1. EM : 8.33%, F1 : 17.08%
  • BM25 + Pororo
  • tokenizer : split()
  1. EM : 1.25%, F1 : 12.14%
  • mistake
  • Baseline Code
  • training_args.num_train_epochs = 20
  • training_args.per_device_train_batch_size = 16
  • training_args.learning_rate = 5e-5
  • training_args.fp16 = True
  • training_args.save_total_limit = 3
  1. EM : 4.58%, F1 : 25.75%
  • BM25 + Pororo
  • tokenizer : mecab.morphs()
  1. EM : 3.33%, F1 : 25.51%
  • BM25 + Pororo
  • tokenizer : mecab.nouns()

다) 오늘 나는 어떤 방식으로 모델을 개선했나요?

  • 오픈 소스인 Okapi BM25(retrieval)와 Pororo(MRC)로 모델을 개선했습니다.

라) 오늘 내가 한 행동의 결과로 어떤 지점을 달성하고, 어떠한 깨달음을 얻었나요?

  • retrieval은 Baseline Code보다는 Okapi BM25를 사용하는 것이 좋을 것 같습니다.

마) 내일은 어떻게 다르게 시도해보실 수 있을까요?

  • 내일은 PORORO 이외의 다른 MRC를 사용해볼 계획입니다.

마무리

오늘보다 더 성장한 내일의 저를 기대하며, 내일 뵙도록 하겠습니다.

읽어주셔서 감사합니다!

profile
PLUS ULTRA

0개의 댓글