🧐 AI의 역사부터 Transformer 등장 전까지 정리 🧐

AI 역사

1950년/ 컴퓨터가 생겨남과 함께 인공지능(머신러닝)이 생겨났다.

2000년/ 폰 노이만이 컴퓨터의 기본 구조를 CPU, 메모리, 연산장치로 정의했다.

메모리를 증가시키려면 1개의 CPU를 중심으로 확장시키며, 비용도 많이 들었기 때문에 효율적이지 않았다.
(중심 CPU에서 장애가 발생할 경우 해당 시스템은 down되는 것이다.)

이후 클라우드가 등장하게 되면서 CPU를 병렬로 붙여 가상화를 시킴으로써 성능을 높였고, 사람의 뉴런을 흉내낼 수 있게 되었다.

동시에, 사람들이 컴퓨터를 사용함으로써 데이터가 쌓이는데, 정형 데이터와 비정형 데이터로 나뉜다.

정형 데이터

미리 정해놓은 형식과 구조에 따라 저장된 데이터
의미있는 데이터를 모델링해 컴퓨터가 이해하도록 관계연산(표)로 구성
ex) RDB의 테이블, spreadsheet, csv 등

참고-TTA 정보통신용어사전-정형 데이터

비정형 데이터

정의된 구조가 없이 정형화되지 않은 데이터
ex) 동영상 파일, 오디오 파일, 사진 등

참고-TTA 정보통신용어사전-비정형 데이터

클라우드 도입 이전에는 정형 데이터를 주로 활용해 인공지능을 학습시켰다.
(실제로 전체 데이터의 80%가 정형 데이터이다.)
비정형 데이터는 정의된 형식과 구조가 없었기 때문에 이를 저장해 분석하고, 활용하는데 어려움이 많았다.

하지만 클라우드가 도입되면서 자동 확장, AI 분석, 실시간 데이터 처리, 보안 관리 등이 용이해지면서 비정형 데이터를 쉽게 저장, 분석, 활용할 수 있게 되었다.

그러면서 딥러닝이 등장하게 되었으며, 대표적으로 CNN, RNN/LSTM이 있다. CNN이란 인간의 시각을 모방한 인공지능으로, 이미지넷 프로젝트를 통해 발전했다. RNN/LSTM이란 사람이 순차적인 데이터 변환을 수행하는 방식을 모방한 인공지능으로, Text data(정형 데이터)를 통해 발전했다.

2017/ 'Attention Is All You Need' 논문에서 Transformer model을 제안했다.

Transformer model은 seq2seq Model의 Encoder와 Decoder로 나누어진 구조를 따르면서 Attention만으로 구현한 모델이다. 이를 기반으로 BERT, LLM, GPT, foundation Model 등이 생겨났다.

이후 영상, 이미지 처리를 위한 Foundation Model 등 여러 Model이 개발된다. 최근 DeepSeek가 등장하였으나, 보안 문제가 발견되면서 사용 금지되고 있다.

---

개발의 변화

딥러닝 등장 이전을 전통적 개발, AI 소프트웨어 개발이라고 부를 수 있다.

전통적 개발

현재에 유용한 무언가를 만들어 컴퓨터/기계에게 일을 시키는 과정이나 도구이다. (=연역) 대표적으로 프로그래밍이 있으며, 요구사항을 함수로 정의해 프로그래밍 한다.

AI 소프트웨어 개발

미래에 무언가를 만들어 컴퓨터/기계가 스스로 처리할 수 있게 준비시키는 과정이나 도구이다. (=경험/귀납) 즉, 데이터를 기반으로 동작하는 Model을 생성하며, 모델은 함수와 가중치를 통해 데이터를 학습한다. 가중치에 따라 예측, 분류, 추천 모델로 나뉜다.

Model

컴퓨터가 직접 찾은 함수, 즉 데이터를 토대로 인과관계를 찾는 것을 의미한다.

즉, 과거에는 프로그래밍을 통해 입력과 결과 사이의 논지를 사람이 파악하고 함수를 만들었다면, 현재에는 입력과 결과를 준비해 컴퓨터가 Model로 직접 함수를 학습할 수 있도록 Model을 만든다.

---

소프트웨어 개발 방식 변화

개발뿐만 아니라 소프트웨어 개발 방식도 변화했다.

1. Data 입력 - Algorithm - 결과 도출
2. Data 입력 - ML Model(머신러닝) - 결과 도출
3. Data 입력 - Prompt - 결과 도출

쉽게 생각하면 기존에는 프로그래밍을 통해 데이터를 처리해 결과를 얻었다면, 머신러닝이 도입되면서 인공지능을 통해 결과를 얻을 수 있게 되었다.

여기까지만 해도 사람이 직접 프로그래밍을 함으로써 인공지능을 활용한 결과를 도출하고, 결과를 가공해야 했다.

현재에는 프롬프트를 통해 텍스트로 원하는 결과를 입력하면, 인공지능이 결과를 텍스트로 반환해 도출한다. ex) ChatGPT

---

Trnasformer 이전 자연어 처리

Word Embedding

단어의 의미를 벡터로 변환

한계

1. 동음이의어 처리 불가 - 단어가 같으면 같은 벡터에 저장된다.
2. 오타, 새로운 단어 처리 불가 - <UNK> 카테고리로 처리된다.

이에 단어의 세부 구성과 주변 맥락 파악을 위한 Token과 Context 기반 자연어 처리 방법을 도입했다.

RNN(Recurrent Neural Network)

기억 장치(은닉 값)가 있는 딥러닝 네트워크

Encoder

입력 문장의 은닉값을 계산

Decoder

Context Vector(문장)를 받아 목표 문장을 생성

한계

기억 장치를 이용해 입력 문장을 순서대로 처리하면서 오래된 정보보다 최근 정보에 비중을 크게 두게 되면서 문장이 길어지면 망각이 발생하게 된다.

이에 Context Vector에 집중되는 부담을 덜어주기 위해 Attention을 도입함으로써 이를 해소하고자 했다.

---

이어서 Attention 및 Transformer에 대해 알아보도록 하겠다. 👀