[NLP] max_length vs. token?

JAsmine_log·2025년 11월 17일

max_length vs. token?

Text(input) : "인공지능은 정말 재미있어요!"

  • max_length: 15글자
  • tokens: 약 8-12개 (모델마다 상이)
구분maxlengthtoken
단위문자(character) 개수의미 단위 조각
사용처HTML 입력 필드AI 모델 (GPT, Claude 등)
측정정확히 글자 수언어/단어에 따라 다름
profile
JAsmine_log
Everyday Research & Development
이전 포스트

[AI] K-fold 교차 검증(K-fold cross-validation)

다음 포스트

[NLP] Tokenizer

0개의 댓글