BPE, Byte Pair Encoding

기계 학습 단계에서 학습할 단어를 모아둔것을 단어 집합(vocabulary)이라고 한다. 기계가 학습하지 못한 경우의 단어는 OOV(out of vocabulary)라고 하며, UNK(Unknown Token)이라고 한다. Subword Segmentation은 하나

2020년 3월 24일
·
0개의 댓글