피어 스터디

13. 서브워드 토크나이저(Subword Tokenizer)

• 현재 통상적으로 많이 사용하고 있는 Hugging Face의 WordPiece Tokenizer(구글의 BERT모델)나 센텐스피스(Sentencepiece)(구글) 이전에 등장했던 전통적 기법부터 순차적으로 살펴볼 수 있었다.
  
  

  • 바이트 페어 인코딩(Byte Pair Encoding, BPE)

  • Unigram Language Model Tokenizer

  • 센텐스피스(SentencePiece)

  • 서브워드텍스트인코더(SubwordTextEncoder)

  • BERT의 워드피스 토크나이저(BertWordPieceTokenizer)

  • 기타 토크나이저

    • BertWordPieceTokenizer : BERT에서 사용된 워드피스 토크나이저(WordPiece Tokenizer)
    • CharBPETokenizer : 오리지널 BPE
    • ByteLevelBPETokenizer : BPE의 바이트 레벨 버전
    • SentencePieceBPETokenizer : 앞서 본 패키지 센텐스피스(SentencePiece)와 호환되는 BPE 구현체

14. RNN을 이용한 인코더-디코더

• 기계번역 과제에서 모델의 성능을 평가하기 위한 지표인 BELU 또한, 이전에 카운터 기반/n-gram 등과 같은 수학/통계 기반의 지표들이 존재했다. 그리고 점차 정규화/패널티 등을 수학적으로 반영할 수 있는 평가지표로 발전해왔음을 느낄 수 있었다.
  
  

  • 시퀀스-투-시퀀스(Sequence-to-Sequence, seq2seq)

    • Teacher Forcing(교사 강요) 개념
    • seq2seq 기계번역기 TensorFlow로 구현하기 실습 (= LSTM 기반)
      - 참고: [케라스 개발자 프랑수아 숄레의 블로그의 'sequence-to-sequence 10분만에 이해하기'] https://blog.keras.io/a-ten-minute-introduction-to-sequence-to-sequence-learning-in-keras.html

  • 평가지표 BLEU Score(Bilingual Evaluation Understudy Score)

    
    

  • 💡

    • 인코더 모델/디코더 모델(LSTM)에서의 output, hidden_state, cell_state (3가지 세트)
    • <SOS> 토큰('\t', 인코더)과 <BOS> 토큰('\n, 디코더)
    
    
    

Seq2seq 코드를 PyTorch로 구현한 링크

• https://deep-learning-study.tistory.com/686
• https://github.com/ndb796/Deep-Learning-Paper-Review-and-Practice/blob/master/code_practices/Sequence_to_Sequence_with_LSTM_Tutorial.ipynb

📝3주차 회고

• 이번 주는 설 연휴가 포함되어 있어 2일만 진행되어서 색달랐다.
• 이번 주부터 피어 분들과 3주 동안 스터디를 진행하기로 했었기에, 금요일에 피어세션 시간 외 2시간 가량 스터디를 진행했다. (위키독스(딥 러닝을 이용한 자연어 처리 입문) 13장 & 14장) 발표를 통해 직접 적용한 코드를 들으며 의논하고 이해하는 시간을 가질 수 있어서 좋았다.
• 데이터 시각화를 Web으로 연계하는 공부도 개인적으로 해봐야지..! ([데이터 시각화 웹 페이지 만들기] https://velog.io/@dhelee/TIL-Day22-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%8B%9C%EA%B0%81%ED%99%94-%EC%9B%B9-%ED%8E%98%EC%9D%B4%EC%A7%80-%EB%A7%8C%EB%93%A4%EA%B8%B0 ✨)