AI 란 무엇인가?

쓰리원·2023년 12월 23일

1. AI 란?

인공지능(Artificial Intelligence, AI)이란, 기계가 학습, 추론, 인식, 이해, 생성과 같은 인간 사고의 핵심 역량을 모방하고 확장할 수 있도록 하는 기술을 말합니다. 단순한 계산이나 자동화를 넘어, 인간 지능을 실질적으로 구현하려는 노력이 AI의 본질입니다.

AI는 "인간 지능이 필요한 작업을 기계가 수행하도록 하는 컴퓨터 시스템의 역량"으로 정의되며, 환경을 인식하고 학습과 추론을 통해 목표 달성을 위한 행동을 취할 수 있는 시스템 개발을 포함합니다

1. 등장 배경

1. 튜링의 문제 제기

인공지능의 뿌리는 철학과 수학적 사고에 있습니다. 1950년, 영국의 수학자 앨런 튜링(Alan Turing) 은 논문 “Computing Machinery and Intelligence(계산 기계와 지능)” 을 발표하며 “기계가 생각할 수 있는가?”라는 근본적인 질문을 던졌습니다.

이 논문에서 그는 튜링 테스트(Turing Test) 라는 개념을 제시했습니다. 즉, 인간이 대화하는 상대가 사람인지 기계인지 구분하지 못한다면, 그 기계는 지능을 가졌다고 볼 수 있다는 것입니다. 이 시점부터 “기계 지능” 에 대한 철학적 논의가 본격화되었고, 인공지능의 기초가 마련되었습니다.

2. 인공지능(AI) 용어의 탄생 (1956, 다트머스 회의)

현대적 의미의 AI라는 용어는 1956년 미국 다트머스 대학에서 열린 다트머스 회의(Dartmouth Conference) 에서 처음 사용되었습니다. 이 회의에서 존 매카시(John McCarthy), 마빈 민스키(Marvin Minsky), 클로드 섀넌(Claude Shannon) 등 당대의 선구자들이 모여 “인공지능” 연구의 방향을 논의했습니다.

이들은 인간의 학습, 추론, 문제 해결 과정을 기계로 모방할 수 있다고 주장했으며, 이때부터 AI 연구가 독립된 학문 분야로 자리 잡기 시작했습니다.

2. AI의 세 가지 핵심 기술

AI는 크게 세 가지 핵심 기술 축을 중심으로 발전해왔습니다. 바로 기계학습(Machine Learning, ML), 딥러닝(Deep Learning, DL), 그리고 자연어 처리(Natural Language Processing, NLP)입니다. 각 기술 축의 개념을 간단히 짚어보고, 일상에서 접할 수 있는 예시를 들어보겠습니다.

1. 기계학습 (Machine Learning, ML)

기계학습은 데이터를 바탕으로 패턴을 학습하고, 그 지식을 활용해 스스로 성능을 개선하는 알고리즘을 연구하는 분야입니다. 개발자가 모든 규칙을 일일이 프로그래밍하지 않아도, 데이터만 충분하다면 모델이 스스로 판단할 수 있습니다.

예시
- 스팸 메일 필터링: 이메일 서비스에서 자동으로 스팸 메일을 분류하는 기능은 대표적인 기계학습 활용 사례입니다.
- 추천 시스템: 넷플릭스나 유튜브가 사용자 취향에 맞는 영상을 추천하는 것도 ML의 힘입니다.

2. 딥러닝 (Deep Learning, DL)

딥러닝은 기계학습의 한 갈래로, 다층 인공 신경망을 활용하여 데이터를 계층적으로 학습하는 방식입니다. 원시 데이터를 입력받아 여러 단계의 "층(layer)"을 거치며 점점 더 추상적인 특징을 뽑아내는 것이 핵심입니다.

예시
- 자율주행 자동차: 카메라가 촬영한 영상을 바탕으로 보행자, 신호등, 도로 차선을 인식하는 데 딥러닝이 활용됩니다.
- 얼굴 인식: 스마트폰 잠금 해제 시 얼굴을 인식하는 기능도 딥러닝 기반 컴퓨터 비전 기술 덕분입니다.

3. 자연어 처리 (Natural Language Processing, NLP)

자연어 처리는 인간의 언어(텍스트나 음성)를 컴퓨터가 이해하고 생성하도록 돕는 기술입니다. 과거에는 규칙 기반(rule-based) 방식이 주를 이루었으나, 기계학습과 딥러닝의 도입으로 급격히 발전했습니다.

예시
- 챗봇: 고객센터 챗봇이 사용자의 질문을 이해하고 적절한 답변을 하는 것은 NLP의 대표 사례입니다.
- 번역 서비스: 구글 번역이나 파파고가 문맥에 맞는 번역을 제공하는 것도 NLP 기술의 결과입니다.

최근 ChatGPT 같은 대규모 언어 모델(LLM)도 NLP 기술의 연장선에서 발전했습니다.

4. 요약

AI의 세 가지 축은 서로 긴밀히 연결되어 있습니다.

기계학습은 데이터 기반 학습의 기초

딥러닝은 복잡한 문제 해결을 위한 강력한 도구

자연어 처리는 사람과 AI가 소통할 수 있는 다리 역할

2. 머신러닝(ML)이란?

머신러닝은 알고리즘을 통해 데이터를 분석하고, 그 결과를 학습하여 새로운 데이터에 대한 예측이나 판단을 내리는 기술입니다. 핵심은 사람의 명시적인 프로그래밍 없이, 컴퓨터가 데이터 속에서 패턴을 스스로 찾아낸다는 점입니다.

예를 들어, 위 그림처럼 사람이 고양이에 대한 "정답(label)"을 제공하면, 컴퓨터는 데이터와 정답의 관계를 학습하고, 점점 더 정확하게 새로운 입력에 대해 결과를 추론할 수 있게 됩니다. 이 과정을 반복하는 것이 바로 훈련(training)이며, 그 결과물을 실제 서비스나 시스템에 적용하는 것이 머신러닝의 목적입니다.

1. 머신러닝의 세 가지 핵심 기술

1. 지도 학습 (Supervised Learning)

지도 학습은 마치 엄마가 아이에게 말을 가르치는 과정과 비슷합니다. 아이가 “엄마”라고 발음을 시도할 때마다, 엄마가 “맞아, 잘했어” 또는 “아니, 다시 해볼까?” 하고 알려줍니다. 이렇게 정답(레이블)을 알려주는 과정이 반복되면서, 아이는 점점 더 정확한 발음을 하게 됩니다.

즉, 정답이 주어진 데이터를 통해 오류를 줄여가며 학습하는 방식입니다. 컴퓨터도 같은 원리로, 입력값(예: 고양이 사진)과 정답(“고양이”)을 함께 제공받아 수천, 수만 번의 반복 학습을 거치며 정답을 맞히는 능력을 키워갑니다.

예시: 이메일 분류기

입력: 이메일 본문
정답: 스팸 / 정상 메일
결과: 새로운 이메일이 들어왔을 때 스팸 여부를 맞히는 모델 완성

2. 비지도 학습 (Unsupervised Learning)

비지도 학습은 조금 다릅니다. 이번에는 정답을 알려주는 엄마가 옆에 없는 상황을 떠올려 보면됩니다. 아이가 새로운 장난감을 봤을 때,

“이건 엄마의 립스틱과는 다르네”
“맛있는 사과랑도 다르네”
“비슷한 장난감끼리 모아야겠다”

이렇게 스스로 비슷한 것끼리 묶고, 다른 것은 구분합니다. 이것이 바로 군집화(Clustering)입니다.

예시: 음악 추천 시스템

입력: 음악 청취 기록 (정답 없음)
과정: 비슷한 음악을 듣는 사람들을 그룹화
결과: 내가 좋아할 만한 음악을 자동 추천

최근에는 반지도 학습(Semi-Supervised Learning)도 많이 활용됩니다. 군집화한 데이터 중 일부에만 사람이 정답을 붙여주면, 나머지도 자동으로 정답이 전파되는 방식입니다.

3. 강화 학습 (Reinforcement Learning)

마지막은 강화 학습입니다. 이번에는 엄마가 정답을 알려주기도 어렵습니다. 예를 들어, 아이가 스스로 걷는 법을 배우는 과정을 생각해 봅시다. 아이는 수없이 넘어지면서도 계속 시도합니다. 넘어지면 벌(실패), 한 걸음이라도 떼면 보상(성공)을 얻게 됩니다. 이 과정을 통해 아이는 자신에게 가장 잘 맞는 걷는 방법을 발견합니다. 강화 학습은 이렇게 보상과 벌칙을 기반으로 시행착오를 거듭하며 최적의 행동을 학습합니다.

예시: 자율주행 자동차

잘 달리면 보상 (안전 주행)
사고가 나면 벌칙 (실패)
수많은 시뮬레이션을 통해 최적의 운전 전략을 학습

4. 머신러닝의 요약

지도학습 (Supervised Learning)
- 정답(레이블)이 있는 데이터를 학습.
- 예: 고양이/강아지 분류, 스팸메일 분류, 가격 예측.
- 예시로 든 “고양이 특징(뾰족한 귀, 긴 수염)”은 전통적 지도학습 입니다.
비지도학습 (Unsupervised Learning)
- 정답이 없는 데이터에서 패턴을 찾음.
- 예: 고객 세분화(K-means), 문서 토픽 추출(LDA), 차원 축소(PCA).
- 이 경우도 여전히 사람이 어떤 알고리즘을 쓸지, 몇 개 군집을 만들지 등을 정해야 하고, 딥러닝처럼 자동으로 추상적 특징을 다단계로 뽑아내는 과정은 부족.
강화학습 (Reinforcement Learning)
- 보상(Reward)을 통해 최적의 행동을 학습.
- 예: 체스/바둑 인공지능, 로봇 제어.
- 이 경우도 상태를 어떻게 표현할지 사람이 고민해야 했습니다.

2. 머신러닝의 한계 – 특징 공학(Feature Engineering)

머신러닝(Machine Learning)은 데이터를 기반으로 규칙과 패턴을 학습해 문제를 해결하는 기술입니다. 하지만 공통적으로 존재했던 한계가 있었으니, 바로 특징 공학(Feature Engineering) 입니다. 즉, 데이터를 모델이 이해할 수 있는 형태로 바꾸기 위해 사람이 직접 특징(Feature)을 설계하고 정의해야 했던 것입니다. 이 특징 공학의 부담은 머신러닝의 여러 분야—지도학습, 비지도학습, 강화학습—에서 모두 나타났습니다.

1. 지도학습 (Supervised Learning)

지도학습은 정답(레이블)이 주어진 데이터를 학습하는 방식입니다. 예를 들어, 고양이 vs 강아지 분류기를 만든다고 가정해봅시다.

사람이 직접 정의해야 했던 특징
- 귀의 모양 (뾰족한지, 둥근지)
- 수염의 길이와 개수
- 눈동자의 크기
- 네 발의 실루엣

즉, 사람이 고양이와 강아지를 구분할 만한 판별 기준을 직접 찾아내고, 이를 수치화해야 했습니다.

다른 실제 예시들
- 스팸메일 분류기:
  - 사람이 “스팸 메일에는 특정 단어(‘무료’, ‘당첨’)가 자주 나온다”라는 특징을 직접 정의해야 했습니다.
- 의료 진단 데이터:
  - 환자의 혈압, 혈당, 콜레스테롤 수치 같은 지표를 사람이 선별해서 모델 입력으로 사용했습니다.
  - 어떤 수치 조합이 ‘위험 신호’인지를 미리 알려줘야 모델이 제대로 학습할 수 있었습니다.

이처럼 지도학습에서는 데이터와 레이블이 있더라도, 무슨 특징이 중요한지를 사람이 직접 결정해야 했습니다.

2. 비지도학습 (Unsupervised Learning)

비지도학습은 정답이 없는 데이터 속에서 군집(Cluster)이나 패턴을 찾아내는 방식입니다.

예시 기법:
- 고객 데이터를 기반으로 성향별 그룹 나누기 (K-means)
- 뉴스 기사에서 토픽 추출하기 (LDA)
- 고차원 이미지를 저차원으로 표현하기 (PCA)

여기서도 사람의 개입이 필수적이었습니다.

구체적 예시들
- 고객 세분화 (마케팅)
  - K-means를 사용해 고객을 몇 개의 그룹으로 나눌지(K 값)를 사람이 정해야 했습니다.
  - 예를 들어, “VIP 고객군, 일반 고객군, 잠재 고객군” 같은 세그먼트는 알고리즘이 스스로 의미를 알 수 없고, 사람이 해석해야 했습니다.
- 문서 토픽 모델링 (뉴스 기사 분석)
  - LDA를 돌려보면 10개의 주제가 나오지만, 그 주제가 “정치, 경제, 스포츠, 연예” 같은 의미 있는 그룹인지 아닌지는 사람이 확인하고 해석해야 합니다.
- 이미지 차원 축소 (얼굴 데이터)
  - PCA로 얼굴 이미지를 줄이면 주성분(Principal Component)이 나오는데, 이게 실제로는 “눈 크기”, “코 길이” 같은 의미 있는 축인지 사람이 확인해야 했습니다.

즉, 비지도학습도 결국 “어떤 특징이 의미 있는가?”는 사람의 몫이었습니다.

3. 강화학습 (Reinforcement Learning)

강화학습은 보상을 통해 최적의 행동을 학습하는 방식입니다. 하지만 여기서도 특징 공학은 필수였습니다.

구체적 예시들
- 체스/바둑 AI
  - 바둑판의 상태를 모델에 넣을 때, 단순히 흑돌/백돌 배열을 넣을지, 아니면 집 계산(영역) 같은 고급 특징을 넣을지는 사람이 결정해야 했습니다.
  - 예전 체스 프로그램들은 “말의 가치(퀸=9, 룩=5, 비숍=3)” 같은 특징을 사람이 직접 정의했습니다.
- 로봇 제어
  - 로봇 팔을 학습시킬 때, 상태(State)를 “각 관절의 각도와 속도”로 줄지, “손끝의 좌표”로 줄지, “물체와의 거리”를 포함시킬지 모두 사람이 설계해야 했습니다.
  - 상태 표현이 잘못되면 로봇은 아예 학습을 하지 못했습니다.
- 자율주행
  - 차량의 상태를 정의할 때, “앞차와의 거리”, “차선과의 거리”, “신호등 색상” 등을 어떤 방식으로 조합해 줄지 사람이 고민해야 했습니다.
  - 원시 카메라 영상 자체를 넣으면 당시 전통적 RL 알고리즘은 감당하지 못했기 때문에, 사람이 미리 축약된 특징을 설계해야만 했습니다.

딥러닝은 이 패러다임을 완전히 바꾸었습니다. 대규모 데이터와 강력한 컴퓨팅 파워를 바탕으로, 딥러닝 모델은 데이터 속에서 어떤 특징이 중요한지 스스로 학습하고 추출합니다. 개발자는 모델이 학습할 수 있는 환경만 제공해주면, 모델은 수많은 데이터 속에서 스스로 고양이의 본질적인 특징들을 찾아내는 것입니다. 이것이 바로 딥러닝이 자율주행, 의료 진단 등 복잡한 문제 해결에 강점을 보이는 이유입니다.

3. 딥러닝(Deep Learning) 이란?

딥러닝은 기계가 스스로 학습하는 기술인 머신러닝(Machine Learning)의 한 분야입니다. 특히 인간의 뇌가 정보를 처리하는 방식을 모방한 인공신경망(Artificial Neural Network)을 기반으로 하며, 이름에서 알 수 있듯 '깊은(Deep)' 신경망 구조를 사용하는 것이 핵심입니다. 이를 통해 이미지, 음성, 텍스트와 같이 복잡하고 정형화되지 않은 데이터 속에서 의미 있는 패턴을 학습하고 인식할 수 있습니다.

1. 딥러닝의 네 가지 핵심 기술

1. ANN(Artificial Neural Network, 인공신경망)

1. 인공 신경망(ANN)의 기본 구조

ANN은 서로 연결된 '뉴런' 레이어로 구성됩니다. 가장 간단한 경우는 입력 레이어와 출력 레이어만 있는 경우입니다. 뉴런과 링크는 행렬로 생각할 수 있습니다.
정보가 입력(들어오는 값) → 계산(가중치 곱하기 + 더하기) → 출력(결과) 의 과정을 거쳐 나옵니다.
예를 들어, 시험 점수(수학, 영어, 과학)를 입력으로 넣고, “합격/불합격” 같은 결과를 출력하는 모델을 만들 수 있습니다.

2. 입력, 링크(가중치), 출력

입력(Input): 신경망에 넣어주는 숫자들 (예: 수학=90, 영어=70, 과학=80)
링크 행렬(가중치, W)
- 입력과 출력 사이의 “연결선” 강도. “이 과목이 합격 여부에 얼마나 영향을 주는가?”를 나타냄.
출력(Output): 계산 결과 (예: 합격=1, 불합격=0)
예시 (시험 점수 → 합격 여부)
- 입력: 수학=90, 영어=70, 과학=80
- 출력: 합격 여부 (1=합격, 0=불합격)
- 수학 → 합격: 0.8 (강한 영향)
  영어 → 합격: 0.2 (약한 영향)
  과학 → 합격: -0.5 (과학 점수가 높을수록 오히려 불리하게 작용한다고 가정)
  결과=(90×0.8)+(70×0.2)+(80×−0.5)
- 여기서 0.8, 0.2, -0.5가 각각 연결선 강도입니다.
  즉, 수학은 합격 여부에 큰 비중, 영어는 조금만 영향, 과학은 부정적 영향을 준다는 뜻입니다.

3. 지도학습(Supervised Learning)에서의 ANN

정답(Label)이 미리 주어진 상태에서 학습합니다.
학습 과정
- 1. 입력값을 받아 인공 뉴런이 출력값을 계산
- 1. 이 결과와 기대값(정답)을 비교
- 1. 차이가 있다면 가중치(weight)를 조정하며 점점 정답에 가까워지도록 학습
예:
- 개/고양이 분류 → 사진(입력), 정답("개" or "고양이")
- 손글씨 인식 → 이미지(입력), 정답(숫자 0~9)

이 경우 정답은 이미 정해져 있는 것이고, ANN은 출력값과 정답의 차이를 줄이도록 학습합니다. 즉, "예측값 → 정답에 맞도록 가중치를 조정"하는 방식입니다.

4. 비지도학습(Unsupervised Learning)에서의 ANN

정답(라벨)이 주어지지 않는 경우도 있습니다. 이때 ANN은 데이터의 패턴이나 구조를 스스로 학습하고, 모델이 스스로 설정한 기준과 비교합니다.
군집화(Clustering, 예: K-means)
- 비교 기준: 각 데이터가 속한 군집 중심(centroid)과의 거리
- 방법: 데이터와 군집 중심 사이의 거리(오차)를 최소화
- 즉, “이 데이터는 어느 그룹에 가까운가?”를 기준으로 학습하고 정답이 없는 데이터를 그룹으로 묶음
차원 축소(Dimensionality Reduction, 예: PCA, Autoencoder)
- 비교 기준: 입력 데이터와 재구성(reconstruction)된 데이터의 차이
- Autoencoder의 경우: 입력을 압축했다가 다시 복원 → 원본과 복원본의 차이를 최소화
- 즉, “데이터를 더 간단히 표현했는데, 원래 정보가 잘 보존되었는가?”를 기준으로 학습하여 중요한 특징만 추출
확률적 모델(예: GMM, Variational Autoencoder)
- 비교 기준: 모델이 추정한 확률분포와 실제 데이터 분포의 차이
- 방법: KL Divergence 같은 확률 분포 차이 측정
- 즉, “내 모델이 만든 분포가 실제 데이터 분포와 비슷한가?”를 비교

이 경우에는 “정답”이라는 개념이 없고, 단순히 데이터를 효율적으로 표현하거나 구조를 발견하는 것이 목적입니다.

5. 강화학습(Reinforcement Learning)에서의 ANN

정답이 정해져 있지 않고, 행동의 결과에 따른 보상(Reward)으로 학습합니다.
강화학습에서 비교하는 것은 예측한 가치(Value)나 정책(Policy)와 실제 보상(Reward) 또는 다음 상태에서 얻을 수 있는 가치입니다. 즉, ANN이 스스로 만든 예상(Expectation)과 환경(Environment)이 준 피드백을 비교합니다.
Q-Learning (가장 대표적인 방법)
- ANN이 각 상태(State)에서 행동(Action)을 했을 때 얻을 Q값(가치)을 예측합니다.
- 비교 대상:
  - 현재 ANN이 예측한 Q값
  - 실제로 행동한 뒤 얻은 보상 + 다음 상태에서의 최대 Q값
차이를 TD 오차(Temporal Difference Error)라고 부르며, 이것을 줄이도록 가중치를 업데이트합니다.

TD 오차 = (보상 + γ * 다음 상태의 최대 Q값) - 현재 예측 Q값

이 오차를 최소화하는 방향으로 ANN이 학습합니다.

Policy Gradient (정책 기반 학습)
- ANN이 직접 행동 확률 분포(Policy)를 출력합니다.
- 비교 대상:
  - ANN이 현재 뽑은 행동의 확률
  - 그 행동으로 얻은 누적 보상(Reward)
보상이 높으면 그 행동의 확률을 강화(↑), 보상이 낮으면 약화(↓)시키는 식으로 가중치를 조정합니다.
Actor-Critic 방식
- Actor(정책 신경망): 어떤 행동을 할지 결정
- Critic(가치 신경망): 그 행동이 얼마나 좋은지 평가
- 비교 대상: Critic이 계산한 “예상 가치” vs 실제 보상
- 이 차이를 줄이는 방식으로 Actor와 Critic을 함께 학습시킵니다.

여기서는 매 순간의 정답이 아니라, 시간이 지나 보상(잘했는가, 못했는가)을 통해 ANN이 스스로 최적의 행동을 찾아갑니다.

6. 요약 정리

강화학습에는 정답(label)이 없습니다.
대신 환경(Environment)이 주는 보상(Reward)과 ANN이 예측한 가치(Value) 또는 정책(Policy)을 비교합니다.
지도학습: “예측값 vs 정답”
비지도학습: “데이터 vs 데이터 구조(재구성, 분포 등)”
강화학습: “예상 가치 vs 보상”

7. 단점

최적의 파라미터(가중치)를 찾기 어렵다
학습 속도가 느리다
복잡한 문제에서는 정확도가 낮다

즉, ANN은 딥러닝의 뿌리이지만 한계가 분명했던 알고리즘입니다.

2. DNN(Deep Neural Network, 심층인공신경망)

딥러닝이라는 용어는 소위 '심층' 인공 신경망의 학습을 설명합니다. 이는 입력 및 출력 레이어 외에도 입력과 출력을 위한 가시 레이어 사이에 수백 개의 추가 '숨겨진' 레이어로 구성되어 있습니다. 숨겨진 레이어의 결과 행렬은 다음 레이어의 입력 행렬로 사용됩니다. 이 경우 마지막 레이어의 출력 행렬에만 결과가 포함됩니다.

1. 특징

은닉층(Hidden Layer)을 2개 이상 쌓아 올린 신경망 구조
단순히 입력→출력으로 끝나는 것이 아니라, 여러 층을 거치며 더 복잡한 특징을 학습

2. 학습 방법

많은 데이터와 반복 학습이 필요
오류역전파(Backpropagation) 기법을 통해 오차를 최소화
사전학습(Pre-training)으로 초기값을 잘 설정하면 성능이 크게 향상

DNN은 ANN보다 훨씬 강력하며, 우리가 흔히 아는 딥러닝은 바로 이 DNN을 의미합니다. 그리고 DNN을 기반으로 발전한 것이 CNN, RNN, LSTM, GRU 같은 다양한 구조들입니다.

3. CNN(합성곱신경망 : Convolution Neural Network)

기존의 방식은 데이터에서 지식을 추출해 학습이 이루어졌지만, CNN은 데이터의 특징을 추출하여 특징들의 패턴을 파악하는 구조입니다. CNN은 사람의 시신경 구조를 모방한 것으로, 데이터를 feature로 추출하여 이 feature들의 패턴을 파악하는 구조입니다. feature 추출은 Convolution 과정과 Pooling 과정을 통해 진행됩니다. CNN은 Convolution Layer와 Pooling Layer를 복합적으로 구성하여 알고리즘을 만듭니다.

Convolution: 데이터를 추출하는 과정으로 데이터에 각 성분의 인접 성분을 조사해 특징을 파악합니다. 여기서 도출된 특징을 추상화하여 특정 층으로 압축하며 이렇게 도출된 층을 Convolution Layer라고 부릅니다.
Pooling: Convolution과정을 거친 Layer의 사이즈를 줄이는 과정입니다. 데이터 사이즈를 줄여 노이즈를 없애고 일괄적인 feature를 제공합니다. 보통 Convolution 과정에서 만들어진 feature의 가장 큰 값만 가져와 사이즈를 줄이는 데, 이것을 max pooling이라고 합니다.
구조
- 여러 개의 Convolution Layer + Pooling Layer가 차례대로 쌓임
- 마지막에는 Fully Connected Layer(완전연결층)에서 분류 수행

CNN 덕분에 컴퓨터가 이미지 속에서 사람 얼굴을 인식하거나, 고양이와 강아지를 구분할 수 있게 되었습니다.

4. RNN(순환신경망 : Recurrent Neural Network)

문제의식
- RNN은 입출력을 시퀀스 단위로 처리하는 시퀀스 모델입니다. 앞서 나온 신경망은 은닉층에서 활성화 함수를 지난 모든 값은 오직 입력→출력층 방향으로만 향했습니다. 그래서 과거의 정보를 기억하지 못했습니다. 예를 들어, 문장의 앞 단어와 뒤 단어가 연결되는 특성을 반영하기 어려웠죠.
특징
- RNN은 은닉층에서 나온 값을 다시 자기 자신에게 전달 (순환 구조)
- 즉, 이전의 학습 결과(과거)를 현재의 입력과 함께 W(weight)를 통해 현재 학습에 반영
- 덕분에 시계열 데이터, 텍스트, 음성 인식 등 순차적인 데이터 학습이 가능

활용 예시
- 텍스트 생성 (문장 자동 완성)
- 번역 (예: 구글 번역기 초기 버전)
- 음성 인식 (예: 시리, 구글 어시스턴트)

기존의 지속적이고 반복적이며 순차적인 데이터 학습의 한계를 해결한 알고리즘으로, 현재의 학습과 과거의 학습의 연결이 가능합니다. 다만, RNN은 학습이 길어질수록 기울기 소실(Gradient Vanishing) 문제가 발생합니다. 이를 해결하기 위해 나온 것이 LSTM, GRU 같은 변형 모델입니다.

4. 자연어 처리(NLP)

자연어 처리(Natural Language Processing)는 사람의 언어를 컴퓨터가 이해하고, 다시 사람의 언어로 표현하는 기술입니다. 과거에는 문법 규칙 기반의 접근이 주를 이뤘지만, 딥러닝, 특히 트랜스포머(Transformer) 아키텍처 기반의 BERT나 GPT와 같은 모델이 등장하며 비약적인 발전을 이루었습니다. 이 모델들은 문장의 문맥을 양방향으로 깊이 있게 이해하여 놀라운 성능을 보여줍니다.

자연어 처리(NLP, Natural Language Processing)

컴퓨터를 이용해서 사람의 자연어를 분석하고 처리하는 기술

자연어 이해(NLU, Natural Language Understanding)

사람이 이해하는 자연어를 컴퓨터가 이해할 수 있는 언어으로 바꾸는 과정

자연어 생성(NLG, Natural Language Generation)

컴퓨터에서 사용하는 언어를 사람이 이해할수 있는 자연어로 바꾸는 과정

1. NLP(자연어 처리)의 주요 영역: 이해(NLU)와 생성(NLG)

NLP는 사람의 언어를 입력받아 다음 과정을 수행하며, 텍스트를 입력받아 → 구조화하고 → 의미를 분석하고 → 필요하면 응답을 생성하는 전 과정을 아우르는 상위 개념입니다.

텍스트 구조화: 문장에서 핵심 단어·개념을 추출

의미 분석: 문맥에 따라 정확한 의미를 해석

응답 생성/활용: 검색, 요약, 번역, 질의응답 등 실제 서비스를 제공

활용 예시:
- 검색엔진: “서울 날씨” 검색 시, 핵심 키워드 추출 후 날씨 API와 연결
- 스팸 필터링: 이메일 내용을 분석해 광고·사기성 메시지를 분류
- 문서 요약: 긴 보고서를 몇 줄의 핵심 문장으로 압축
실제 예시 문장:
- 입력: “오늘 서울 날씨 알려줘”
- 처리: “서울(위치)” + “날씨(정보)” 요청 → 기상청 API 연결
- 출력: “현재 서울은 맑고 기온은 28도입니다.”

자연어 처리(NLP, Natural Language Processing) 자체는 전체 기술 영역을 포괄하고, 이 안에서 세부적으로 자연어 이해(NLU)와 자연어 생성(NLG)이라는 두 축으로 나눌 수 있습니다. 아래에서는 각 영역을 정의와 역할, 활용 사례, 실제 예시까지 포함해 자세히 살펴보겠습니다.

2. 자연어 이해 (NLU, Natural Language Understanding)

사람이 사용하는 자연어를 컴퓨터가 이해할 수 있도록 언어적·수학적 표현으로 변환하는 과정입니다. 즉, 문장에서 의도(Intent)와 필요한 정보(Slot)를 추출하는 단계라고 볼 수 있습니다.

NLP는 언어를 이해하기 위해 다음과 같은 4단계 분석 과정을 거칩니다.

형태소 분석 (Morphological Analysis) 문장을 최소 의미 단위(형태소)로 분리하고 품사를 태깅합니다. 예: “날씨가” → “날씨/명사 + 가/조사”

구문 분석 (Syntax Analysis) 문법 규칙을 적용해 문장의 구조(주어·서술어·목적어 등 관계)를 파악합니다. 예: “철수가 사과를 먹었다.” → (주어=철수, 목적어=사과, 동사=먹다)

의미 분석 (Semantic Analysis) 단어와 구문이 맥락에서 가지는 의미를 해석합니다. 예: “은행” → [강둑/금융기관] 중 문맥에 따라 “금융기관” 선택

담화 분석 (Discourse Analysis) 여러 문장을 연결해 문맥 속에서 발화 의도와 실제 의미를 이해합니다. 예: “그는 울었다.” → 앞 문맥(합격/실패)에 따라 ‘기쁨의 눈물’ 또는 ‘슬픔의 눈물’

이 네 단계 덕분에 컴퓨터는 단순히 문자열을 처리하는 것이 아니라, 사람이 실제로 의도한 의미를 파악할 수 있게 됩니다.

예시 기술:
- 토큰화(Tokenization): 문장을 단어 단위로 쪼개기
- 품사 태깅(POS Tagging): 각 단어의 역할 부여 (명사, 동사, 형용사 등)
- 구문 분석(Parsing): 단어 간 관계 파악 (주어·동사·목적어 등)
- 개체명 인식(NER): 이름, 장소, 날짜, 운송장 번호 같은 핵심 엔티티 추출
- 감정 분석(Sentiment Analysis): 긍정/부정/중립 감정 분류
활용 분야:
- 질의응답 시스템: 사용자가 묻는 질문에서 핵심 개체와 의도 추출
- 고객센터 챗봇: “배송이 늦어요” → [불만/배송] 분류 → 고객센터 연결
- 텍스트 분류: 뉴스 기사 자동 분류(정치, 경제, 스포츠 등)
실제 예시 문장 분석:
- 입력: “내일 부산행 KTX 표 예매해줘”
- NLU 결과:
  - 의도(Intent): 기차표 예매
  - 개체명(Slot): 날짜=내일, 출발지=서울(생략 추론 가능), 도착지=부산, 교통수단=KTX

3. 자연어 생성 (NLG, Natural Language Generation)

자연어 이해(NLU)를 바탕으로 실제 응용 서비스에서 활용 가능한 의도·정보 단위로 변환하는 것을 말합니다. 즉, 컴퓨터가 내부적으로 이해·처리한 정보를 사람이 이해할 수 있는 자연스러운 문장으로 바꾸는 과정입니다.

예시 기술:
- 텍스트 요약(Summarization): 긴 기사에서 핵심 문장만 뽑아 요약
- 자동 보고서 작성: 매출 데이터 → “이번 달 매출은 전월 대비 15% 증가했습니다.”
- 대화형 응답 생성: 사용자의 질문에 맥락 있는 답변 생성
활용 분야:
- 이메일 자동 작성: “거래처 회의 일정 안내 메일 작성” → 자동 생성된 초안 제공
- 기사 요약/자동 기사 작성: 스포츠 경기 결과 요약 기사 작성
- 음성 비서: “내일 날씨 어때?” → “내일은 맑고 최고 30도, 최저 22도입니다.”
실제 예시:
- 입력 데이터: {도시: 서울, 날짜: 9월 1일, 날씨: 맑음, 기온: 28도}
- NLG 출력: “9월 1일 서울의 날씨는 맑고, 기온은 28도입니다.”

2. NLP의 핵심 기술 요소와 실제 예시

자연어 처리(NLP)에서 사용되는 핵심 기술은 텍스트를 분해 → 이해 → 변환 → 생성하는 전 과정을 구성합니다. 각각의 기술은 독립적으로도 활용되지만, 대부분 함께 작동하며 자연스러운 대화와 문장 처리를 가능하게 합니다. 아래에서는 대표적인 6가지 핵심 기술을 예시와 함께 자세히 살펴보겠습니다.

1. 토큰화 (Tokenization)

정의: 텍스트를 의미 있는 최소 단위인 토큰(token)으로 분리하는 과정
종류:
- 단어 토큰화: 공백, 구두점을 기준으로 단어 분리
- 문장 토큰화: 마침표, 물음표 등 구두점을 기준으로 문장 분리
- 서브워드 토큰화: 희귀어나 합성어를 작은 단위로 쪼갬 (예: SentencePiece, BPE)
예시:

입력: "자연어 처리는 정말 흥미로운 분야입니다."
단어 토큰화 결과: ["자연어", "처리", "는", "정말", "흥미로운", "분야", "입니다", "."]
문장 토큰화 결과: ["자연어 처리는 정말 흥미로운 분야입니다."]

토큰화는 모든 NLP의 출발점입니다. 토큰 단위로 나눠야만 이후 분석(품사 태깅, 구문 분석 등)이 가능해집니다.

2. 품사 태깅 (POS Tagging)

정의: 각 단어에 문법적 역할(품사)을 부여하는 과정
역할: 문법 구조를 이해하고, 문장에서 단어가 어떻게 사용되는지 파악
예시:

입력: "강아지가 공원에서 뛰고 있다."
출력: 
[강아지/NNG(일반 명사), 가/JKS(주격 조사), 
 공원/NNG(일반 명사), 에서/JKB(부사격 조사), 
 뛰/VV(동사), 고/EC(연결 어미), 있다/VX(보조 동사)]

이렇게 각 단어에 품사 정보를 붙이면, "강아지"는 주어, "뛰고 있다"는 술어임을 명확히 알 수 있습니다.

3. 구문 분석 (Parsing)

정의: 문장의 구조와 단어들 사이의 관계를 분석하는 과정
종류:
- 구성 구문 분석(Constituency Parsing): 문장을 구(phrase) 단위로 계층 구조로 분해
- 의존 구문 분석(Dependency Parsing): 단어 간의 수식·지배 관계를 화살표로 표현
예시 (의존 구문 분석):

입력: "철수가 사과를 먹었다."
출력: 
[철수(주어) → 먹었다(동사)], 
[사과(목적어) → 먹었다(동사)]

이 과정을 통해 "누가 무엇을 했다" 같은 문장의 의미 구조를 기계가 이해할 수 있게 됩니다.

4. 개체명 인식 (NER, Named Entity Recognition)

정의: 텍스트에서 사람, 장소, 날짜, 조직, 코드, 숫자 등 특정 의미를 가진 개체를 식별하는 과정
역할: 비정형 텍스트를 구조화된 데이터로 바꾸는 데 활용
예시:

입력: "김철수는 2025년 9월 1일 서울에서 열린 컨퍼런스에 참석했다."
출력: 
[김철수 → PERSON], 
[2025년 9월 1일 → DATE], 
[서울 → LOCATION], 
[컨퍼런스 → EVENT]

고객센터 문의 “운송장 번호 LSP-2025-0815 배송 지연”에서 운송장 번호를 추출하는 것도 NER의 대표 활용 예입니다.

5. 감정 분석 (Sentiment Analysis)

정의: 텍스트 속에 담긴 감정·태도를 분류하는 과정 (긍정, 부정, 중립 등)
활용: 리뷰 분석, 고객 피드백, 여론 모니터링
예시:

입력: "이 제품은 가격은 비싸지만 성능은 최고예요!"
출력: 감정 = 긍정(Positive)

입력: "배송이 너무 늦어서 화가 납니다."
출력: 감정 = 부정(Negative)

실제 전자상거래 기업에서는 감정 분석으로 불만 고객을 빠르게 찾아내 대응합니다.

6. 텍스트 생성 (Text Generation)

정의: 문맥에 맞게 자동으로 텍스트를 생성하는 기술
방법: RNN, LSTM, Transformer(GPT 계열) 기반 언어 모델을 활용
예시:

입력: "오늘 날씨가"
생성: "오늘 날씨가 맑고 기온은 28도입니다."

입력: "이메일 작성: 회의 일정 안내"
생성: "안녕하세요, 회의 일정은 9월 1일 오후 2시 본사 회의실에서 진행됩니다."

최근에는 챗봇, 자동 보고서 작성, 번역 시스템 등 다양한 서비스에서 텍스트 생성이 핵심 기술로 쓰이고 있습니다.

5. 대규모 언어 모델(LLM)

LLM은 딥러닝 기술을 바탕으로 한 자연어 처리(NLP) 기술의 대표적인 성과물로, 엄청난 양의 데이터를 미리 학습한 범용 언어 모델(general-purpose language model)입니다. LLM은 트랜스포머(Transformer) 아키텍처를 사용하며 수십억~수천억 개의 파라미터를 가진 거대 신경망 기반 언어 모델 입니다. 처음부터 특정 작업에 최적화된 게 아니라, 사전 훈련(pre-training) 후에 필요에 따라 fine-tuning(정교한 조정)을 해서 쓸 수 있습니다.

1. LLM 의 핵심 Transformer

2017년, 구글 연구진은 논문 “Attention Is All You Need” 를 발표했습니다. 새로운 구조인 Transformer는 자연어 처리의 패러다임을 완전히 바꿔놓았습니다.

1. Self-Attention 메커니즘

Transformer의 핵심은 Self-Attention 입니다. 이는 문장 속 단어들이 서로 어떤 관계를 가지는지를 계산하는 방식입니다.

예시:
“나는 어제 은행(bank)에 갔다.” → bank는 “financial bank”일 확률이 높음
“나는 어제 강 옆의 은행(bank)에 앉아 있었다.” → bank는 “river bank”일 확률이 높음

Self-Attention 덕분에 모델은 단어 간 거리와 상관없이 문맥적 의존성을 학습할 수 있습니다.

2. 병렬 처리

RNN과 달리 Transformer는 입력을 순차적으로 처리하지 않고, 병렬 처리가 가능합니다.

학습 속도와 효율성이 획기적으로 향상
GPU 같은 병렬 연산 장비와 잘 맞아떨어짐

3. 스케일 확장성

Transformer는 단순히 모델 크기(파라미터 수) 를 키우는 것만으로도 성능이 계속 향상되었습니다. 이 특성 덕분에 이후 BERT, GPT, T5 같은 거대 모델들이 탄생했습니다.

2. LLM의 한계

대규모 언어 모델(LLM, Large Language Model)은 대화형 질의응답, 글쓰기, 요약, 번역 등 다양한 작업에서 인간 수준에 근접한 결과를 산출합니다. 그러나 LLM은 본질적으로 학습 데이터 시점과 품질에 의존하기 때문에 여러 가지 구조적 한계를 내포합니다.

시간적 제약/스냅샷 (Temporal Limitation)
- LLM은 특정 시점까지의 데이터만 학습하기 때문에 그 이후 발생한 사건, 새로운 개념, 최신 데이터에는 취약합니다. 이는 정적 지식(Static Knowledge) 구조에 기반하기 때문입니다.
- 예시: 2023년 이후 개정된 법률이나 2024년 출시된 신기술 관련 질문에 대해서는 정확한 답변이 불가능.
사실 검증 능력 부족과 환각 (Hallucination)
- LLM은 통계적 패턴을 바탕으로 “그럴듯한” 문장을 생성합니다. 그러나 이는 근거 없는 정보일 가능성이 있으며, 실제로는 존재하지 않는 사실을 자신감 있게 제시하기도 합니다.
- 이 현상은 환각(Hallucination)이라고 불리며, 신뢰성이 중요한 분야에서 치명적인 문제를 야기할 수 있습니다.
- 예시: 존재하지 않는 논문을 출처로 제시하거나, 잘못된 법률 조항을 정확한 것처럼 설명.
도메인 특화 지식의 부족 (Domain-Specific Knowledge Gap)
- LLM은 일반적인 공개 데이터셋으로 학습되므로, 특수한 영역의 지식에는 취약합니다.
- 법률, 의학, 금융, 기술 사양과 같은 전문 영역의 내부 문서나 독점 데이터는 모델이 학습하기 어렵습니다.
- 특정 계약 조항, 내부 API 스펙, 의료 가이드라인 등에 대한 답변 품질이 낮습니다.

6. reference

https://en.wikipedia.org/wiki/Artificial_intelligence?utm_source=chatgpt.com
https://en.wikipedia.org/wiki/Machine_learning?utm_source=chatgpt.com
https://en.wikipedia.org/wiki/Deep_learning?utm_source=chatgpt.com
https://en.wikipedia.org/wiki/Natural_language_processing?utm_source=chatgpt.com
https://www.sify.com/ai-analytics/distinguishing-deep-learning-machine-learning-and-artificial-intelligence/
http://inwedo.com/blog/business-potential-of-ai-solutions/
https://aws.amazon.com/ko/what-is/artificial-intelligence/
https://modulabs.co.kr/blog/machine-learning
https://live.lge.co.kr/live_with_ai_01/
https://hongong.hanbit.co.kr/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EB%94%A5%EB%9F%AC%EB%8B%9D-%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98%EC%9D%84-%EC%86%8C%EA%B0%9C%ED%95%A9%EB%8B%88%EB%8B%A4/
http://cloudinsight.net/ai/%EB%94%A5%EB%9F%AC%EB%8B%9D%EC%9D%98-%EA%B0%9C%EB%85%90%EA%B3%BC-%EC%82%AC%EB%A1%80/
https://www.baslerweb.com/ko-kr/learning/deep-learning/
https://woongsin94.tistory.com/341
https://enterprise.kt.com/bt/dxstory/746.do
https://www.ibm.com/kr-ko/think/topics/natural-language-processing

쓰리원

가장 아름다운 정답은 서로의 협업안에 있다.

이전 포스트

Matplotlib 란?

다음 포스트

AI 란 무엇인가?

1. AI 란?

1. 등장 배경

1. 튜링의 문제 제기

2. 인공지능(AI) 용어의 탄생 (1956, 다트머스 회의)

2. AI의 세 가지 핵심 기술

1. 기계학습 (Machine Learning, ML)

2. 딥러닝 (Deep Learning, DL)

3. 자연어 처리 (Natural Language Processing, NLP)

4. 요약

2. 머신러닝(ML)이란?

1. 머신러닝의 세 가지 핵심 기술

1. 지도 학습 (Supervised Learning)

2. 비지도 학습 (Unsupervised Learning)

3. 강화 학습 (Reinforcement Learning)

4. 머신러닝의 요약

2. 머신러닝의 한계 – 특징 공학(Feature Engineering)

1. 지도학습 (Supervised Learning)

2. 비지도학습 (Unsupervised Learning)

3. 강화학습 (Reinforcement Learning)

3. 딥러닝(Deep Learning) 이란?

1. 딥러닝의 네 가지 핵심 기술

1. ANN(Artificial Neural Network, 인공신경망)

1. 인공 신경망(ANN)의 기본 구조

2. 입력, 링크(가중치), 출력

3. 지도학습(Supervised Learning)에서의 ANN

4. 비지도학습(Unsupervised Learning)에서의 ANN

5. 강화학습(Reinforcement Learning)에서의 ANN

6. 요약 정리

7. 단점

2. DNN(Deep Neural Network, 심층인공신경망)

3. CNN(합성곱신경망 : Convolution Neural Network)

4. RNN(순환신경망 : Recurrent Neural Network)

4. 자연어 처리(NLP)

1. NLP(자연어 처리)의 주요 영역: 이해(NLU)와 생성(NLG)

2. 자연어 이해 (NLU, Natural Language Understanding)

3. 자연어 생성 (NLG, Natural Language Generation)

2. NLP의 핵심 기술 요소와 실제 예시

1. 토큰화 (Tokenization)

2. 품사 태깅 (POS Tagging)

3. 구문 분석 (Parsing)

4. 개체명 인식 (NER, Named Entity Recognition)

5. 감정 분석 (Sentiment Analysis)

6. 텍스트 생성 (Text Generation)

5. 대규모 언어 모델(LLM)

1. LLM 의 핵심 Transformer

1. Self-Attention 메커니즘

2. 병렬 처리

3. 스케일 확장성

2. LLM의 한계

6. reference

Matplotlib 란?

AI 란 무엇인가?

0개의 댓글