토큰화(tokenization)
: 토큰(token)이라고 불리는 단위를 나누는 작업을 토큰화라고 한다.
token : 징표, 형식물 화폐 같은 개념. 고로 자연어 처리에서 모델에 학습을 시키기 위해 하나씩 던져주는 형식물이라고 생각하자. (단어 단위, 혹은 문자 단위)
: 토큰(token)이라고 불리는 단위를 나누는 작업을 토큰화라고 한다.
token : 징표, 형식물 화폐 같은 개념. 고로 자연어 처리에서 모델에 학습을 시키기 위해 하나씩 던져주는 형식물이라고 생각하자. (단어 단위, 혹은 문자 단위)
