Huggin_Face

Tokenizers 텍스트를 숫자의 배열(텐서)로 변환하는 도구 텍스트를 단어 또는 하위 단어 단위(토큰)로 분리한 뒤 토큰들을 숫자로 변환 또한, 어떤 토큰에 주의를 집중해야 하는지를 알려주는 attention mask도 함께 생성 Transformers에서는 다음 세 가지 하위 단어 기반 토크나이저를 사용함 Byte-Pair Encoding(BPE)...