언어를 이해하고 싶었던 인공지능

AI가 인간의 언어를 다루기 시작했을 때, 목표는 단순했다.

“문장을 순서대로 읽고, 그 의미를 이해하는 모델을 만들자.”

하지만 인간의 언어는 순서만으로 의미가 결정되지 않았다.
문맥, 앞뒤 관계, 의미적 연결 — 이런 요소들을 AI가 온전히 이해하기란 쉽지 않았다.

그렇게 인공지능은 언어를 더 깊이 이해하기 위해 RNN → LSTM → Transformer로 진화해왔다.

RNN — 순서를 기억하려 했던 첫 시도

RNN(Recurrent Neural Network) 은 문장처럼 순차적인 데이터를 처리하기 위해 고안된 모델이었다.
입력된 단어를 하나씩 읽으며, 이전 단어의 정보를 은닉 상태(hidden state) 에 저장한 뒤 다음 단어를 예측했다.

이 방식은 초기에 혁신적이었다.
단어의 순서나 흐름을 고려할 수 있었기 때문이다.

하지만 문제도 명확했다.
문장이 길어질수록 초반의 정보가 점점 사라지는 기울기 소실 문제(vanishing gradient) 가 발생했고,

기울기 소실(vanishing gradient) 은
신경망이 학습할 때 초반 정보의 영향이 점점 사라지는 문제를 말한다.
RNN처럼 순서를 따라가며 학습하는 구조에서는
오차를 거꾸로 전달할 때 기울기(gradient) 가 계속 곱해지면서
값이 점점 작아지고 결국 0에 가까워진다.
그 결과, 문장의 앞부분 정보를 기억하지 못하고
뒷부분만 학습하게 된다.

결과적으로 모델은 문장의 앞부분을 기억하지 못했다.
또한 데이터를 순차적으로 처리해야 했기 때문에 병렬 연산이 불가능했고, 학습 속도도 매우 느렸다.

RNN은 ‘순서’를 학습하는 데는 성공했지만, ‘문맥 전체’를 이해하기에는 부족했다.

LSTM — 기억력을 보완하려 한 개선형 구조

이 한계를 해결하기 위해 등장한 것이 LSTM(Long Short-Term Memory) 이었다.

LSTM은 ‘게이트(gate)’ 메커니즘을 추가해, 어떤 정보를 기억하고 어떤 정보를 잊을지를 스스로 조절할 수 있었다.

RNN이 매번 새로운 입력에 기존 정보를 덮어써 버렸다면,
LSTM은 장기 기억(Long-term memory) 을 유지할 수 있게 했다.

예를 들어,

“나는 어제 본 영화가 정말 좋았다. 그래서 오늘도 그 감독의 작품을 찾아봤다.”
이 문장에서 “그 감독”이 누구를 가리키는지 파악하려면, “어제 본 영화” 정보를 기억해야 한다.
LSTM은 이런 관계를 비교적 안정적으로 유지할 수 있었다.

하지만 여전히 한계가 있었다.

문장을 순서대로 읽는 구조는 그대로였기 때문에 병렬 연산이 불가능했고,
문맥이 길어질수록 연산량이 급격히 증가했다.
예시로 보자면, “그 감독”이 누구를 의미하는지는
문장 초반의 “어제 본 영화”에 등장한 인물을 기억해야 한다.
하지만 문장이 길어질수록 LSTM은 그 연결을 점점 잃어버렸다.

즉, 문장의 앞뒤에 있는 단어 간의 장거리 의존성(long-term dependency) 을 완벽히 다루지 못했다.

LSTM은 “기억력 문제”는 해결했지만, “효율성 문제”는 여전히 풀지 못했다.

Transformer — ‘순서’를 넘어 ‘관계’를 이해하다

2017년, Google의 논문 “Attention is All You Need” 가 발표되며 모든 것이 바뀌었다.

Transformer는 RNN이나 LSTM처럼 문장을 순서대로 처리하지 않았다.
대신, Self-Attention(자기 주의 메커니즘) 을 통해 문장 전체를 한눈에 보고, 각 단어 간의 관계를 동시에 파악했다.

이제 모델은 문장의 모든 단어를 병렬로 처리하며,
“이 단어가 다른 단어와 얼마나 관련 있는가?”를 스스로 학습할 수 있었다.

예를 들어,

“The dog chased the ball because it was fast.”
이 문장에서 “it”이 “dog”을 의미하는지 “ball”을 의미하는지는 문맥 전체를 봐야 알 수 있다.
Transformer는 이런 관계를 한 번에 파악했다.

이 구조는 병렬 연산이 가능해 학습 속도가 급격히 향상되었고,
문맥 이해력 또한 뛰어나졌다.

Transformer는 결국 “언어를 순차적으로 읽는” 접근을 완전히 버리고,
“언어 전체의 의미 구조를 이해하는” 단계로 진화시켰다.

마무리

RNN이 단어의 순서를 기억하려 했다면,
LSTM은 문맥의 흐름을 잊지 않으려 했다.
그리고 Transformer는 단어들의 관계를 통째로 이해하기 시작했다.

결국 AI의 진화는 “언어를 더 인간처럼 이해하려는 과정”이었다.
Transformer의 등장은 그 긴 여정의 전환점이 되었고,
오늘날 GPT, BERT, DALL·E 같은 거대한 AI 시스템의 기반이 되었다.