Deep Dive into Development (GitHub Blog: https://nkw011.github.io/)
태그 목록
- 전체보기(43)
- 백준(22)
- baekjoon(22)
- NLP(15)
- programmers(5)
- huggingface(5)
- transformers(5)
- torchtext(3)
- spaCy(3)
- decoder(2)
- encoder(2)
- transformer(2)
- Attention(2)
- chain-of-thought(1)
- NLTK(1)
- datsaet(1)
- Seq2Seq(1)
- word2vec(1)
- WordEmbedding(1)
- dataloader(1)
- LSTM(1)
- colab(1)
- torchdata(1)
- CoT(1)
- GRU(1)
- RNN(1)
[NLP] 자연어처리에 사용되는 Dataset(데이터셋), Dataloader 만들기
spaCy의 Tokenizer와 torchtext을 활용하여 말뭉치를 단어 사전으로 바꾼다. 단어 사전을 활용해 데이터셋을 구성하고 학습을 위한 데이터로더를 구성하는 방법에 대해 배운다.
2022년 7월 30일
·
0개의 댓글·
0