🛸 자연어 처리(NLP) 기초: 텍스트 전처리·TF-IDF·감성 분석

1️⃣ 자연어 처리(NLP)란?

자연어 처리(Natural Language Processing) 는 인간 언어를 컴퓨터가 이해하고 처리하도록 만드는 기술이다.
텍스트나 음성 데이터를 수학적으로 변환해 의미를 추출한다.

단계	목적	예시
텍스트 전처리	불필요한 단어 제거, 정규화	“I’m happy!!!” → “i happy”
벡터화	문장을 숫자로 표현	Bag-of-Words, TF-IDF
학습	감성분석·토픽분류 등	긍정/부정 분류기
응용	챗봇, 번역, 요약 등	ChatGPT, DeepL, BERT

---

2️⃣ NLP 접근 방식

유형	설명	대표 기법
클래식 모델	규칙·통계 기반	BoW, TF-IDF, Naive Bayes
딥러닝 모델	의미·문맥 기반	RNN, LSTM, Transformer

---

3️⃣ Bag-of-Words (BoW) 모델

💡 개념

문서를 단어의 “가방(bag)”으로 보고,
단어의 출현 횟수를 벡터 형태로 표현한다.

예시:
문장1: “I love NLP”
문장2: “I love Python”

→ 단어 집합(Vocabulary): [I, love, NLP, Python]
→ BoW 벡터

• 문장1 → [1, 1, 1, 0]
• 문장2 → [1, 1, 0, 1]

단순하지만, 단어 순서나 의미를 고려하지 않는다.

---

4️⃣ 텍스트 전처리 단계

⚙️ 주요 단계 (Python 기준)

import re
import nltk
from nltk.corpus import stopwords
from nltk.stem.porter import PorterStemmer

corpus = []
for i in range(0, 1000):
    review = re.sub('[^a-zA-Z]', ' ', dataset['Review'][i])
    review = review.lower()
    review = review.split()
    ps = PorterStemmer()
    review = [ps.stem(word) for word in review if not word in set(stopwords.words('english'))]
    review = ' '.join(review)
    corpus.append(review)

단계	설명
정규식 제거	특수문자, 숫자 제거
소문자 변환	대소문자 일관성
토큰화(Tokenization)	단어 단위 분리
불용어 제거(Stopwords)	의미 없는 단어 제거 (“the”, “is”)
어간 추출(Stemming)	단어의 기본형으로 축소 (“loved”→“love”)

---

5️⃣ 텍스트 벡터화 (TF-IDF)

BoW가 단어의 “존재”만 본다면,
TF-IDF(Term Frequency-Inverse Document Frequency) 는
단어의 중요도를 반영한다.

• TF: 문서 내 단어 등장 빈도
• DF: 단어가 포함된 문서 수
• N: 전체 문서 수

결과적으로,

• 흔한 단어(“the”)는 가중치 ↓
• 드문 단어(“amazing”)는 가중치 ↑

---

🧪 Python 실습

from sklearn.feature_extraction.text import TfidfVectorizer
tfidf = TfidfVectorizer(max_features=1500)
X = tfidf.fit_transform(corpus).toarray()
y = dataset.iloc[:, 1].values  # 긍정(1)/부정(0)

→ X는 1000×1500 차원의 벡터,
각 단어의 중요도(weight)가 반영된 수치 행렬.

---

6️⃣ 감성 분석 (Sentiment Analysis)

💡 개념

리뷰나 댓글의 긍정·부정 감정을 분류한다.
지도 학습 분류 모델(Logistic, Naive Bayes, SVM 등)을 사용.

---

🧪 Python 실습

from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB
from sklearn.metrics import confusion_matrix, accuracy_score

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
classifier = GaussianNB()
classifier.fit(X_train, y_train)
y_pred = classifier.predict(X_test)

cm = confusion_matrix(y_test, y_pred)
print("Accuracy:", accuracy_score(y_test, y_pred))

💡 TF-IDF + Naive Bayes = 간단하지만 강력한 텍스트 분류 조합.
리뷰 데이터(“좋아요”, “별로예요”)를 학습해 실시간 감정 판별 가능.

---

🧪 R 실습

library(tm)
library(SnowballC)
library(e1071)

corpus = VCorpus(VectorSource(dataset$Review))
corpus = tm_map(corpus, content_transformer(tolower))
corpus = tm_map(corpus, removePunctuation)
corpus = tm_map(corpus, removeNumbers)
corpus = tm_map(corpus, removeWords, stopwords())
corpus = tm_map(corpus, stemDocument)

dtm = DocumentTermMatrix(corpus)
dtm = removeSparseTerms(dtm, 0.99)
dataset_sparse = as.data.frame(as.matrix(dtm))
dataset_sparse$Liked = dataset$Liked

classifier = naiveBayes(Liked ~ ., data = dataset_sparse)
pred = predict(classifier, dataset_sparse)

---

7️⃣ BoW vs TF-IDF 비교

항목	Bag-of-Words	TF-IDF
특징	단순 출현 횟수	출현 + 중요도 반영
계산량	작음	큼
중복 단어 영향	큼	작음
추천 사용	기본 baseline	고급 표현, 감성 분석에 적합

---

8️⃣ 감성 분석 결과 평가

지표	의미
정확도(Accuracy)	전체 중 맞게 예측한 비율
정밀도(Precision)	긍정이라 예측한 것 중 실제 긍정
재현율(Recall)	실제 긍정 중 맞게 예측한 비율
F1 Score	정밀도·재현율의 조화 평균

from sklearn.metrics import classification_report
print(classification_report(y_test, y_pred))

---

9️⃣ 확장: 딥러닝 기반 NLP로 나아가기

단계	대표 기법	설명
단어 임베딩	Word2Vec, GloVe	단어 의미 벡터화
문맥 모델	BERT, GPT	문장 수준 의미
감성 분석 고도화	LSTM, Transformer	문맥 의존 감정 파악

---

🔟 결론

자연어 처리는 텍스트를 수치화하여
감정·의도·의미를 데이터로 해석하는 기술이다.

• 전처리로 잡음을 제거하고
• TF-IDF로 단어 중요도를 반영하며
• 감성분석 모델로 언어의 감정을 예측한다.

📘 핵심 요약

단계	핵심 기술	목적
텍스트 정제	Tokenization, Stopword 제거	노이즈 최소화
벡터화	BoW, TF-IDF	수치 변환
모델링	Naive Bayes, SVM	감정·주제 분류