안녕하세요 ㅎㅎ
태그 목록
- 전체보기(78)
- 인공지능(29)
- TIL(23)
- 광인사(17)
- error(14)
- mote(9)
- python(8)
- WIL(7)
- PyTorch(4)
- NLP(3)
- cuda(2)
- 딥러닝(2)
- 시간복잡도(1)
- pip(1)
- colab(1)
- 브레이크패드(1)
- 자연어처리(1)
- tokenizer(1)
- 완전탐색(1)
- bruteforce(1)
- gelu(1)
- ReLU(1)
- transformers(1)
- 경고등(1)
- tensorflow(1)
- KOBERT(1)
- mnist(1)
- 재귀(1)
- plotly(1)
- 브레이크액(1)
- 파이썬(1)
- GPT3(1)
- 논문리뷰(1)
- fasttext(1)
- CUDNN(1)
- 자료구조(1)
- DecisionTreeClassifier(1)
- Tensor(1)
- 코딩테스트(1)
- softmax(1)
전체보기 (78)인공지능(29)TIL(23)광인사(17)error(14)mote(9)python(8)WIL(7)PyTorch(4)NLP(3)cuda(2)딥러닝(2)시간복잡도(1)pip(1)colab(1)브레이크패드(1)자연어처리(1)tokenizer(1)완전탐색(1)bruteforce(1)gelu(1)ReLU(1)transformers(1)경고등(1)tensorflow(1)KOBERT(1)mnist(1)재귀(1)plotly(1)브레이크액(1)파이썬(1)GPT3(1)논문리뷰(1)fasttext(1)CUDNN(1)자료구조(1)DecisionTreeClassifier(1)Tensor(1)코딩테스트(1)softmax(1)
[Mote] Tokenizer 기법
문장에서 단어, 어절 등으로 나누는 것을 토큰화라고 한다. 이러한 과정을 하는 여러 방법이 있다.<split 방법><WordPunctTokenizer 방법><TreebankWordTokenizer 방법><RegexpTokenizer 방법>
2020년 8월 7일
·
0개의 댓글