이번주 과제였던, Sub-Word Tokenization과 Byte Pair Encoding (BPE) 그리고 두번째 과제였던, 번역 모델 전처리 방법론인 Collating과 Bucketing에 대해서 다시 한 번 정리해보고 코드적인 부분에서 궁금했던 점을 정리하였다.
배우고 공부하고 기록하는 것을 멈추지 않는다.
이번주 과제였던, Sub-Word Tokenization과 Byte Pair Encoding (BPE) 그리고 두번째 과제였던, 번역 모델 전처리 방법론인 Collating과 Bucketing에 대해서 다시 한 번 정리해보고 코드적인 부분에서 궁금했던 점을 정리하였다.