[P3] Week 1 Day 3

나며기·2021년 4월 29일
0

부스트캠프 AI Tech

목록 보기
61/79
post-thumbnail

가) 오늘 내 학습목표는 무엇이었나요?

  1. BM25 + PORORO
  2. 공백 및 장문 answer 처리
  3. 제출 기회 5번 모두 사용하기

나) 오늘 나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했나요?

  1. EM : 40.42%, F1 : 56.03%
  • BM25Plus + PORORO
  • tokenizer : mecab.bpe64k.ko
  • 공백 및 장문 answer 처리
  1. EM : 42.08%, F1 : 59.54%
  • BM25Plus + PORORO
  • tokenizer : mecab.bpe64k.ko
  • 공백 및 장문 answer 처리
  • lambda x : ' '.join(re.sub(r'[^0-9a-zA-Zㄱ-ㅎㅏ-ㅣ가-힣]', ' ', str(x.strip())).split())
  1. EM : 41.25%, F1 : 59.17%
  • BM25Plus + PORORO
  • tokenizer : mecab.bpe64k.ko
  • 공백 및 장문 answer 처리
  • lambda x : ' '.join(re.sub(r'[^0-9ㄱ-ㅎㅏ-ㅣ가-힣]', ' ', str(x.strip())).split())
  1. EM : 40.83%, F1 : 57.03%
  • BM25Plus + PORORO
  • tokenizer : okt.morphs()
  • 공백 및 장문 answer 처리
  • lambda x : ' '.join(re.sub(r'[^0-9a-zA-Zㄱ-ㅎㅏ-ㅣ가-힣]', ' ', str(x.strip())).split())
  1. EM : 42.08%, F1 : 59.56%
  • BM25Plus + PORORO
  • tokenizer : mecab.bpe64k.ko
  • 공백 및 장문 answer 처리
  • lambda x : ' '.join(re.sub(r'[^0-9a-zA-Zㄱ-ㅎㅏ-ㅣ가-힣]', ' ', str(x.lower().strip())).split())

다) 오늘 나는 어떤 방식으로 모델을 개선했나요?

  • 공백과 장문 answer를 처리하여 모델을 개선했습니다.

라) 오늘 내가 한 행동의 결과로 어떤 지점을 달성하고, 어떠한 깨달음을 얻었나요?

  • mrc에서 이상한 answer가 inference 되었을 때, 어떻게 처리하느냐가 중요하다는 것을 알게 되었습니다.

마) 내일은 어떻게 다르게 시도해보실 수 있을까요?

  • 내일은 위키피디아 문서를 문단 단위로 분리해서 시도해볼 계획입니다.

마무리

오늘보다 더 성장한 내일의 저를 기대하며, 내일 뵙도록 하겠습니다.

읽어주셔서 감사합니다!

profile
PLUS ULTRA

0개의 댓글