embeddingAll

사람이 쓰는 자연어를 기계가 이해할 수 있는 숫자의 나열인 벡터로 바꾼 결과나 그 일련의 과정 전체를 말합니다. 각 단어가 문장에 등장하는 빈도를 활용해서, 문장을 숫자로 변환하는 방법을 바로 떠올릴 수 있겠네요.TF-IDF, PMI 상호정보량, PLM 뉴럴네트워크 기

colab 링크SentencePieceBPE from scratch (Sentencepiece paper : link)참고자료 : https://devocean.sk.com/blog/techBoardDetail.do?ID=164570&boardType=tech