임베딩과 tokenize개념

minsing-jin·2025년 5월 12일
0

ML

목록 보기
6/7

tokenize

  • sequence(text, frame으로 나뉘어진 f0음성등)을 token으로 나눠서 수치화한것, 인덱싱으로 매핑한것

embedding

  • token들에 대해서 의미적인 연관성을 기반으로 배치한것
  • nn.Embedding 레이어를 통과하던 이미 만들어진 word2vec과 같은 임베딩 모델을 통과하든 첫번째 개념이 상통하면 어떤방식으로든 임베딩이라는 행위를 한것

https://wikidocs.net/64779

profile
why not? 정신으로 맨땅에 헤딩하고 있는 코린이

0개의 댓글