Day2

개굴이·6일 전

멋쟁이 사자처럼 NLP

목록 보기

2/7

📝 신경망에서 텍스트 벡터화까지: NLP 기초 정리

📅 2026.10.01 · Today I Learned
MLP · 전처리 · 토큰화 · BPE · WordPiece · Unigram · 임베딩

오늘은 신경망의 학습 과정을 살펴보고, 자연어가 모델의 입력이 되기까지의 과정을 배웠다.

핵심은 두 가지였다. 텍스트를 숫자로 바꾸는 것, 그리고 그 과정에서 필요한 의미를 보존하는 것이다.

🧠 1. 인공지능과 학습 방식

세 개념은 포함 관계를 가진다.

인공지능(AI)
└─ 머신러닝(ML)
   └─ 딥러닝(DL)

인공지능: 지능과 관련된 기능을 컴퓨터로 구현하는 넓은 분야
머신러닝: 데이터에서 패턴을 학습하는 방법
딥러닝: 여러 층의 인공신경망을 사용하는 머신러닝 방법

모델은 무엇을 기준으로 배울까?

방식	학습 기준	예시
지도학습	입력과 정답	감정 분석, 집값 예측
비지도학습	데이터의 구조와 패턴	군집화, 오토인코더
강화학습	행동에 따른 보상	게임, 로봇 제어

💡 모델 구조와 학습 방식은 다른 구분이다.
MLP는 모델 구조이며, 지도학습과 비지도학습 모두에 사용할 수 있다.

지도학습은 예측과 정답의 차이를 줄인다. 비지도학습도 복원 오차나 군집 내부 거리처럼 학습 목표에 맞는 목적함수를 줄일 수 있다.

다만 K-means처럼 역전파를 사용하지 않는 알고리즘도 있다.

⚙️ 2. 인공신경망과 MLP

인공신경망은 생물학적 신경망에서 아이디어를 얻은 계산 모델이다. 뇌를 그대로 복제한 것은 아니다.

MLP(Multi-Layer Perceptron)는 입력층·은닉층·출력층으로 구성되며, 기본적으로 인접한 층 사이를 완전 연결한다.

입력층 → 은닉층 → 출력층
데이터 → 특징과 관계 계산 → 예측

각 뉴런의 계산은 다음과 같다.

z = \sum_i w_i x_i + b,\qquad a=f(z)

요소	역할
가중치 (w)	입력이 반영되는 강도와 방향 조절
편향 (b)	가중합의 기준을 이동
활성화 함수 (f)	비선형성을 더해 복잡한 관계 표현

활성화 함수

함수	특징	대표 용도
ReLU	음수는 0, 양수는 그대로	은닉층
Sigmoid	0~1 사이 출력	이진 분류 출력층
Tanh	−1~1 사이 출력	일부 은닉층
Softmax	여러 점수를 합이 1인 확률 분포로 변환	다중 분류 출력층

비선형 활성화 함수 없이 선형 계산만 여러 층 쌓으면, 전체도 하나의 선형 계산과 같다.

편향은 뉴런이 반응하는 기준을 조절할 수 있다. 예를 들어 ReLU(x - 3)은 입력이 3보다 클 때 양수를 출력한다.

순전파와 역전파

순전파 → Loss 계산 → 역전파 → 가중치·편향 업데이트
                     반복

순전파: 입력으로 예측을 만든다.
Loss: 예측이 학습 목표에서 얼마나 벗어났는지 측정한다.
역전파: 가중치·편향에 대한 Loss의 기울기를 계산한다.
옵티마이저: 기울기를 이용해 파라미터를 수정한다.

📌 역전파는 기울기를 계산하는 과정이다.
실제 파라미터 업데이트는 옵티마이저가 수행한다.

📥 3. 데이터 수집은 의미 보존까지

NLP 데이터는 공개 데이터셋, API, 웹페이지, 내부 문서, 직접 수집 등의 방법으로 확보할 수 있다.

목적	수집할 데이터
감정 분석	리뷰와 감정 라벨
기계 번역	원문과 대응하는 번역문
문서 군집화	문서 모음

이번 강의에서는 수집을 단순히 자료를 가져오는 것보다 넓게 설명했다. 원문의 의미와 구조를 보존하며 사용할 수 있는 형태로 변환하는 과정도 포함한다.

예를 들어 수식 이미지에서 문자만 추출하면 분수선·위첨자·아래첨자가 사라질 수 있다.

\mathrm{Attention}(Q,K,V)
= \mathrm{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V

LaTeX로 옮기면 분자·분모, 전치, 제곱근 등의 관계를 명시할 수 있다.

텍스트에서도 마찬가지다. 부정 표현, 표의 행·열 관계, 제목과 본문 관계를 잃으면 원래 정보를 제대로 옮겼다고 보기 어렵다.

🧹 4. 데이터 정제와 전처리

전처리는 원문을 분석과 모델 입력에 적합하게 준비하는 과정이다.

이번 강의에서는 정제를 좁은 의미의 전처리로 설명하며, 불필요한 요소 제거·정규화·토큰화를 포함한다. 용어의 범위는 자료마다 다를 수 있다.

작업	예시
불필요한 요소 제거	HTML 태그, 광고 문구 제거
정규화	중복 공백 정리, 소문자화
토큰화	단어·형태소·서브워드로 분리
품질 확인	중복·누락·OCR 오류 처리

정제된 텍스트 모음을 Clean corpus라고 한다.

원문: "<p>이 영화는   안 좋았어요!!</p>"
정제: "이 영화는 안 좋았어요!!"

불용어 — Stopwords

작업 목적에 따라 중요도가 낮다고 판단해 제외하는 단어다. 일부 관사나 조사가 후보가 될 수 있다.

하지만 자주 등장한다고 무조건 제거해서는 안 된다. “안 좋다”에서 ‘안’을 제거하면 의미가 바뀐다. 감정 분석에서는 느낌표나 이모지도 정보가 될 수 있다.

🔤 5. 토큰 → 인덱스 → 임베딩

모델은 자연어를 다음 흐름으로 처리한다.

텍스트 → 토큰 → 토큰 ID → 임베딩 → 문맥 처리

개념	의미
토큰	텍스트를 처리하는 단위
단어 사전	토큰과 고유 ID의 대응표
인덱스 / 토큰 ID	토큰을 식별하는 번호
임베딩	토큰 등을 나타내는 학습된 숫자 벡터

“고양이” → ID 82 → 임베딩 행렬의 해당 행 → 숫자 벡터

ID는 식별 번호다. 숫자가 크다고 더 중요한 단어라는 뜻은 아니다.

같은 토큰의 초기 임베딩은 같아도, 문맥을 처리한 표현은 달라질 수 있다. “배를 먹었다”와 “배를 탔다”의 ‘배’가 그 예다.

토큰을 나누는 단위

단위	특징
단어·공백	간단하지만 한국어의 조사·어미 처리에 한계
형태소	의미·문법 기능을 기준으로 분리
문자	사전은 작지만 입력이 길어짐
서브워드	단어의 일부를 활용해 사전 크기와 입력 길이를 절충

🧩 6. BPE·WordPiece·Unigram

세 방법 모두 서브워드 사전을 학습하지만 기준이 다르다.

방법	핵심 원리
BPE	빈도가 높은 인접 토큰 쌍을 반복 병합
WordPiece	데이터의 우도를 높이는 병합을 추구
Unigram	큰 후보 사전에서 제거 영향이 작은 토큰을 삭제

BPE

작은 단위에서 시작해 자주 붙어 나오는 쌍을 합친다.

[h, u, g] → [h, ug] → [hug]

새 텍스트에는 학습해 둔 병합 순서를 적용한다.

WordPiece

단순한 쌍의 빈도뿐 아니라 각 조각의 빈도도 고려한다. 병합 원리를 설명하는 교육용 점수는 다음과 같다.

\mathrm{score}(a,b) =\frac{\mathrm{freq}(ab)} {\mathrm{freq}(a)\mathrm{freq}(b)}

개별 빈도에 비해 함께 등장하는 경향이 강한 쌍에 높은 점수를 준다. 실제 학습 구현은 달라질 수 있다.

새 텍스트는 왼쪽부터 사전에 있는 가장 긴 조각으로 분할한다. BERT 방식의 ##는 단어 중간에 이어지는 조각이라는 표시다.

playing → [play, ##ing]

Unigram

토큰별 확률을 학습하고, 각 토큰을 독립적으로 가정해 분할 확률을 계산한다.

P(t_1,\ldots,t_n)=\prod_i P(t_i)

학습할 때는 제거해도 Loss 증가가 작은 토큰을 삭제한다. 일반적인 분할에서는 전체 확률이 가장 높은 후보를 선택한다.

💡 세 방법 모두 의미를 직접 분석하는 형태소 분석과는 다르다.
SentencePiece는 BPE와 Unigram 등을 지원하는 도구다.

🔢 7. 자연어를 벡터로 표현하는 방법

방법	표현 기준	주요 특징
BoW	단어 등장 횟수	간단한 희소 벡터
TF-IDF	단어 빈도와 희소성	문서를 구별하는 단어에 가중치
Word2Vec	주변 단어 예측 학습	단어별 고정 밀집 벡터
Embedding	학습된 벡터 표현	토큰·문장·문서 등에 적용

BoW — Bag of Words

사전: [고양이, 강아지, 좋아]

“고양이 좋아”      → [1, 0, 1]
“강아지 좋아 좋아” → [0, 1, 2]

해석하기 쉽지만 단어 순서와 문맥을 잃는다.

TF-IDF

\mathrm{TF\!-\!IDF}(t,d)=\mathrm{TF}(t,d)\times\mathrm{IDF}(t)

TF: 해당 문서에서의 단어 빈도
IDF: 전체 문서에서 해당 단어가 얼마나 드문지 나타내는 값

여러 문서에 흔한 단어의 비중은 낮추고, 특정 문서를 구별하는 단어의 비중은 높일 수 있다.

Word2Vec

주변 단어를 이용해 단어 임베딩을 학습한다.

CBOW: 주변 단어로 가운데 단어 예측
Skip-gram: 가운데 단어로 주변 단어 예측

비슷한 문맥에서 쓰이는 단어의 관계를 표현할 수 있지만, 기본적으로 단어마다 하나의 벡터를 사용해 다의어를 문맥별로 구분하지 못한다.

Embedding

임베딩은 학습된 벡터 표현을 가리키는 넓은 개념이다. Word2Vec도 임베딩을 만드는 방법 중 하나다.

문맥 기반 모델에서는 주변 토큰을 함께 처리해 문맥에 따라 다른 표현을 만든다.

📦 8. Batch·Padding·Truncation

Batch는 한 번에 함께 처리하는 데이터 묶음이다. 일반적인 모델에서는 묶음 안의 입력을 배열로 만들기 위해 길이를 맞춘다.

작업	역할
Padding	짧은 입력에 패딩 토큰 추가
Truncation	최대 길이를 넘는 입력 절단
Attention mask	실제 토큰과 패딩 위치 구분

최대 길이가 5인 예시:

[11, 12, 13]         → [11, 12, 13, PAD, PAD]
[21, 22, 23, 24, 25] → [21, 22, 23, 24, 25]
[31, 32, 33, 34, 35, 36] → [31, 32, 33, 34, 35]

첫 입력의 attention mask: [1, 1, 1, 0, 0]

고정 패딩: 지정한 길이에 맞춘다.
동적 패딩: 각 batch에서 가장 긴 입력에 맞춘다.

패딩은 빈자리를 채우지만, 절단은 실제 내용을 버린다. 중요한 내용이 잘리지 않는지 확인해야 한다.

✅ 9. 전체 흐름에서 기억할 점

데이터 수집·의미 보존
→ 품질 확인·데이터 분리
→ 정제·토큰화
→ 벡터화 또는 토큰 ID 변환
→ 필요에 따라 패딩·절단
→ 모델 학습·평가

작업에 필요한 의미를 전처리 과정에서 보존하기
사전·TF-IDF는 학습 데이터로만 구축하기
학습과 실제 예측에 같은 전처리 적용하기
사전 학습된 모델의 토크나이저 사용하기
중복 데이터가 학습·테스트에 함께 들어가지 않도록 확인하기

✍️ 오늘의 학습 메모

자연어를 모델에 넣으려면 숫자로 바꿔야 한다. 하지만 숫자로 변환했다는 사실만으로 의미를 잘 표현했다고 볼 수는 없다.

토큰 ID는 식별 번호이고, 임베딩은 학습된 표현이다. 또한 같은 단어도 문맥에 따라 해석이 달라진다.

어떤 정보를 남기고, 어떤 단위로 나누고, 어떤 표현으로 바꿀지 결정하는 과정이 NLP의 중요한 부분이라는 점을 배웠다.

📚 참고 자료

개굴이

이전 포스트

Day1

다음 포스트