Tokenizer

Yezun Chung·2023년 11월 27일

0

Deep Learning

목록 보기

7/16

정규화 및 사전토큰화

정규화(normalization) : 불필요한 공백 제거, 대소문자 변환, 악센트 제거

CS undergraduate student, interested in ML, NLP, CV, RL, multi-modal AI

이전 포스트

Auto-regressive model, Auto-encoding model

다음 포스트

Multi-GPU with DP, DDP, FSDP

0개의 댓글

관련 채용 정보