Natural Language Processing
1.[NLP 1] 자연어처리(NLP)란
자연어 처리의 개요
2.[NLP 2] 텍스트 데이터의 구조와 성분
텍스트 데이터의 구조와 구성 성분
3.[NLP 3] tokenization 1 : NLTK 라이브러리
토큰화 과정 (NLTK 사용)
4.[NLP 4] tokenization 2 : mecab & kiwipiepy
토큰화 과정 (mecab, kiwipiepy 사용)
5.[NLP 5] 단어 빈도수 분석 및 시각화 (collections & wordcloud)
대한민국헌법 text data를 통한 단어 빈도수 분석 및 시각화 (collections, wordcloud 사용)
6.[NLP 6] Embedding 1 : BoW(Bag of Words) - CountVectorizer
BoW(Bag of Words)의 CountVectorizer를 통한 희소표현 설명
7.[NLP 7] Embedding 2 : 텍스트 유사도 측정 - 코사인 유사도(Cosine Similarity)
코사인 유사도를 통한 텍스트 유사도 측정 (CountVectorizer 사용)
8.[NLP 8] Embedding 3 : Cosine Similarity를 이용한 추천 함수 구현
CountVectorizer와 코사인 유사도를 이용한 추천 함수 구현
9.[NLP 9] Embedding 4 : word2vec - CBOW(Continuous Bag of Word)
word2vec의 CBOW를 통한 밀집표현 설명
10.[NLP 10] Embedding 5 : CBOW와 skip-gram Code 비교
Code를 통한 CBOW 모델과 skip-gram 모델 비교 (cosine similarity, gensim 사용)
11.[NLP 11] RNN(Recurrent Neural Network) 1 : 기본 원리
RNN의 기본원리 설명
12.[NLP 12] RNN(Recurrent Neural Network) 2 : IMDB 영화 리뷰 감성 분석
SimpleRNN을 이용한 IMDB 영화 리뷰 감성 분석 (keras 사용)
13.[NLP 13] RNN(Recurrent Neural Network) 3 : RNN 심화 이론
RNN 심화 이론 설명
14.[NLP 14] RNN(Recurrent Neural Network) 4 : RNN 학습 모델 생성
RNN 학습 모델 생성 - IMDB 영화 리뷰 감성 분석 (keras 사용)
15.[NLP 15] 순환 신경망 - RNN, LSTM, seq2seq
RNN, LSTM, seq2seq 등 순환 신경망 설명
16.[NLP 16] Transformer : self-attention
Transformer의 self-attention과 Multi-Head Attention 설명 (Tensor 사용)
17.[NLP 17] BERT(Bidirectional Encoder Representations from Transformers) 1 : masked language model
BERT(Bidirectional Encoder Representations from Transformers) 설명
18.[NLP 18] BERT(Bidirectional Encoder Representations from Transformers) 2 : BertWordPiece Tokenizer
BPE(Byte Pair Encoding) tokenization을 통해 OOV(Out-Of-Vocabulary)문제의 해결방법인 subword tokenization 설명 (BertWordPiece Tokenizer 사용)
19.[NLP 19] BERT 3 : 네이버 영화 리뷰 감성분석 (Text Classification)
BERT를 활용한 네이버 영화 리뷰 감성분석 - task : Text Classification (transformer, bert, electra, TensorFlow, Pytorch, numpy, keras 사용)
20.[NLP 20] HuggingFace : pipeline 함수
HuggingFace의 pipeline 함수를 활용하여 문서 분류(text-classification), 문서 요약(text summarization), 질문 답변(QuestionAnswering), 문장 생성(text generation) task 진행
21.[NLP 21] SBERT(SentenceBERT) 1 : 문장 유사도 측정(영화 추천 함수 구현)
SBERT를 활용하여 문장유사도 측정 + 영화 추천 함수 구현 (SentenceTransformer, pandas, sklearn(cosine_similarity) 사용)
22.[NLP 22] SBERT(SentenceBERT) 2 : 문장 유사도(Text Similarity)를 이용한 ChatBot 구현
문장 유사도를 활용하여 ChatBot 제작 (SentenceTransformer, pandas, numpy 사용)