Word Embeddings

Word Embeddings

⸻

🧠 1. Word Embedding의 기본 개념

“단어를 의미적으로 이해할 수 있도록 숫자로 바꾸는 방법”

⸻

🔹 왜 필요한가?

컴퓨터는 언어(문자)를 이해하지 못합니다.
• 인간: “apple”은 과일의 일종임을 인지
• 컴퓨터: “apple”은 문자들의 나열 'a' 'p' 'p' 'l' 'e'

그래서 단어를 수학적으로 다룰 수 있는 벡터 형태로 변환해야 합니다.
이 과정을 임베딩(embedding) 이라고 부릅니다.

⸻

🧩 2. One-hot Encoding — 가장 단순한 표현

단어 벡터 표현
apple [1, 0, 0, 0, 0]
banana [0, 1, 0, 0, 0]
grape [0, 0, 1, 0, 0]

•	장점: 단순하고 구현 쉬움
•	단점:
•	단어 간 의미적 유사도를 표현할 수 없음
•	벡터가 희소(sparse) 하고, 차원이 단어 수만큼 커짐

“apple”과 “banana”는 모두 과일이지만,
One-hot 벡터 상에서는 완전히 무관함 (직교 관계)

⸻

🌐 3. 의미 기반 표현: Word Embedding의 등장

Word Embedding은 “비슷한 문맥에 나타나는 단어는 비슷한 의미를 가진다”는
분포 가설(Distributional Hypothesis) 에 기반합니다.

📖 “You shall know a word by the company it keeps.”
— J.R. Firth, 1957

예를 들어,

I ate an apple.
I ate a banana.

두 문장에서 apple과 banana는 같은 문맥에 등장하므로,
컴퓨터는 이 두 단어가 비슷한 의미라고 학습합니다.

⸻

⚙️ 4. 주요 Word Embedding 모델

(1) Word2Vec (Google, 2013)

대표적인 예측 기반(predictive) 모델입니다.

⸻

💡 구조: 두 가지 학습 방식

방식 입력 출력 설명
CBOW (Continuous Bag of Words) 주변 단어 중심 단어 문맥으로 중심 단어를 예측
Skip-Gram 중심 단어 주변 단어 중심 단어로 주변 단어를 예측

⸻

🧩 예시 문장

“The cat sits on the mat”
• CBOW:
주변 단어 [The, sits, on] → 중심 단어 “cat”
• Skip-Gram:
중심 단어 “cat” → 주변 단어 [The, sits, on]

이 예측을 반복하면서 각 단어의 벡터가 점차 의미적으로 정렬됩니다.

⸻

📈 학습 결과 예시

단어 벡터 예시(3차원 단순화)
king [0.7, 0.2, 0.5]
queen [0.6, 0.3, 0.4]
man [0.8, 0.1, 0.5]
woman [0.7, 0.3, 0.4]

👉 king - man + woman ≈ queen
단어 간 의미 관계가 수학적 벡터 연산으로 표현됩니다!

⸻

📏 실제 유사도 예시 (코사인 유사도)

단어 쌍 유사도 해석
(king, queen) 0.83 높은 유사도 (왕과 여왕)
(cat, dog) 0.76 둘 다 동물
(king, apple) 0.05 거의 무관

⸻

(2) GloVe (Stanford, 2014)

Global Vectors for Word Representation

Word2Vec은 “예측” 중심이었다면,
GloVe는 “통계적 빈도(co-occurrence)” 에 초점을 맞춥니다.

⸻

💡 핵심 아이디어

“단어들이 함께 등장하는 확률 비율(co-occurrence ratio)은
단어 의미의 중요한 단서를 제공한다.”

예를 들어:
• “ice”는 “cold”와 자주 등장하고, “steam”은 “hot”과 자주 등장
• “ice”와 “steam”은 둘 다 “water”와 관련됨
→ 따라서 “ice”와 “steam”의 차이는 “cold-hot” 축으로 설명 가능

이런 관계를 반영하여 벡터를 학습함.

⸻

📊 GloVe의 학습 데이터 예시

중심 단어 주변 단어 동시 등장 횟수
ice cold 45
ice hot 2
steam hot 40
steam cold 3

이 데이터를 기반으로 확률 비율을 계산하고,
벡터 공간 상에서 그 관계를 보존하도록 학습합니다.

⸻

(3) FastText (Facebook AI, 2016)

“단어 내부(subword) 구조까지 고려한 Word Embedding”

⸻

⚙️ 핵심 아이디어

Word2Vec이나 GloVe는 단어 전체를 하나의 토큰으로 봅니다.
→ “unbelievable”은 하나의 단어로만 학습됨.

하지만 FastText는 단어를 부분 단위(subword, n-gram) 로 분해합니다.

예:

“apple” → “app”, “ppl”, “ple”
“running” → “run”, “unn”, “nni”, “nin”, “ing”

이렇게 하면:
• 형태가 비슷한 단어는 벡터도 비슷하게 학습됨
• 희귀 단어(OOV, Out-of-Vocabulary) 처리에 강함

⸻

📘 예시 비교

단어 Word2Vec 벡터 FastText 벡터
walk [0.61, 0.32, 0.44, …][0.62, 0.34, 0.43, …]
walking [0.20, 0.10, 0.12, …][0.61, 0.33, 0.45, …]

➡️ FastText는 “walk”와 “walking”을 유사하게 학습
➡️ 형태 기반 일반화가 가능 (형태소 단위 학습)

⸻

🧭 5. Embedding 공간의 구조

Word Embedding이 잘 학습되면,
벡터 공간에서 의미 관계가 기하학적으로 표현됩니다.

예시 (2D로 단순화한 시각화):

    king •───────• queen
     ↑             ↑
    man •───────• woman

→ “성별”이라는 추상적 개념이 벡터 공간의 방향으로 표현됨.

⸻

🧮 6. 수학적 배경 (간단 요약)

코사인 유사도 (cosine similarity)

단어 벡터 A, B 의 유사도는 다음과 같이 계산합니다:
\text{similarity}(A,B) = \frac{A \cdot B}{|A||B|}
• 1에 가까울수록 의미가 비슷함
• 0이면 무관, -1이면 반대 의미

⸻

🧠 7. 실제 예시 (비교표)

단어쌍 Word2Vec FastText GloVe
king–queen 0.83 0.85 0.84
cat–dog 0.78 0.79 0.80
run–running 0.30 0.74 0.40
France–Paris 0.88 0.86 0.89

➡️ FastText는 형태가 다른 단어(run vs running)에 강함
➡️ GloVe는 전체적인 의미 관계(전역적 통계)에 강함

⸻

🧰 8. 응용 분야

분야 활용 예시
🈹 기계 번역 “apple → 사과” 처럼 의미 유사도 기반 번역
💬 감정 분석 “happy” ≈ “joyful” → 긍정으로 분류
🧠 챗봇 사용자 발화의 의미 유사도를 기반으로 응답 선택
🔍 정보 검색 의미적으로 비슷한 단어도 함께 검색 (예: “car” ↔ “automobile”)

⸻

⚠️ 9. 한계점

한계 설명
문맥 무시 Word2Vec, GloVe, FastText 모두 “단어별 고정 벡터”만 제공 → 문맥에 따라 뜻이 달라져도 동일 벡터 사용
편향(Bias) 학습 데이터의 사회적 편향을 그대로 반영 (예: gender bias)
복잡한 문장 의미 단어 수준 표현만으로는 문장 전체 의미를 완벽히 포착하기 어려움

➡️ 이후에 BERT, GPT 같은 문맥 기반(Contextual) 임베딩이 등장하게 됩니다.

⸻

🧩 10. 비교 정리표

항목 Word2Vec GloVe FastText
방식 예측 기반 (local) 통계 기반 (global) 예측 기반 + Subword
문맥 반영 지역 문맥만 전역 통계 반영 지역 문맥 + 형태소 반영
희귀 단어 처리 약함 약함 강함
학습 속도 빠름 느림 중간
대표 장점 효율적 의미 표현 전역 관계 보존 형태적 유연성, 일반화
대표 단점 문맥 무시 업데이트 어려움 계산량 많음

⸻

📘 11. 결론

Word Embedding은 자연어 처리의 언어 이해를 가능하게 한 핵심 기술입니다.
• Word2Vec → 의미 기반 벡터의 시작
• GloVe → 전역 통계와 의미 관계 반영
• FastText → 단어 내부 구조까지 고려

이 기술들은 이후의 BERT, GPT 같은 대형 언어모델(LLM) 의
기초적 토대를 이루며, 오늘날의 “의미 이해 AI”의 출발점이 되었습니다.