🎲[AI] 인공지능 모델과 딥러닝이 뭘까?

해당 글은 FastCampus - '[skill-up] 처음부터 시작하는 딥러닝 유치원 강의를 듣고,
추가 학습한 내용을 덧붙여 작성하였습니다.

1. 인공지능 모델이란?

• 입력 x가 주어졌을 때 출력 y를 반환하는 함수 f(x)

파라미터(𝜃, theta)란?

• 모델의 동작 방식을 결정하는 요소
• 예: x가 입력되었을 때 어떤 y를 출력할지를 결정하는 요소

학습이란?

• (x, y) 형태의 데이터를 바탕으로, x → y로 가는 관계를 찾아내는 과정
• 즉, 최적의 파라미터 𝜃를 학습함

모델이란?

• 넓은 의미로는 알고리즘 전체
• 좁은 의미로는 학습된 파라미터 집합을 의미

---

2. 좋은 인공지능 모델이란?

일반화(Generalization)를 잘하는 모델

일반화란?

• 훈련 데이터에만 잘 작동하는 것이 아니라,
  보지 못한 데이터(unseen data) 에 대해서도 올바른 예측(Prediction)을 하는 능력

왜 일반화가 중요한가?

• 우리가 모든 경우의 수에 대해 데이터를 수집할 수는 없음
• 모든 데이터를 다 수집하고 있으면 인공지능 모델이 필요 없이 단순한 rule-based 함수만 필요할 것
• 따라서, 새로운 상황(이전에 없던 데이터)에서도 적절한 판단을 내리는 모델이 중요

---

3. 기존 머신러닝의 한계

• 기존 모델들은 선형 또는 낮은 차원의 데이터를 주로 다룸
• 비선형 문제에 대해 Kernel Trick 등을 사용하지만 한계가 명확

  Kernel Trick: 데이터를 고차원으로 매핑하여 복잡한 분류 문제를 단순화하는 데 사용

  • 이미지, 텍스트, 음성 등 고차원(high-dimensional) 데이터에서는 성능 저하가 큼

---

4. 딥러닝이란?

• Deep Neural Networks (DNN)을 학습시켜 문제를 해결하는 기술
• 인공신경망(Artificial Neural Networks)의 확장된 개념
• 뉴런(Neuron)들로 구성된 신경망이 데이터를 학습하여 문제를 해결하는 함수 역할을 함
• 각 뉴런이 데이터를 처리하는 원리를 정확하게 알 수는 없음
• 기존보다 깊은 신경망 구조를 갖는 것이 특징
• 비선형 함수 기반 → 기존 머신러닝보다 우수한 패턴 인식 능력
• 이미지, 텍스트, 음성 등 다양한 분야에서 비약적인 성능 향상
• hand-crafted feature 없이도 학습 가능
  → raw 데이터를 입력하면 자동으로 특징(feature)을 학습

---

5. 딥러닝이 가능해진 이유

1. 과거에는 학습이 어려웠던 깊은 신경망을 학습시킬 수 있게 됨
2. 인터넷의 발달로 빅데이터 활용이 가능해짐
3. GPU 기반 병렬 연산의 대중화 → 학습/추론 속도 향상

---

6. 딥러닝의 역사 및 패러다임 변화

🔹 1980년대

• 역전파(Back-propagation) 알고리즘 개발 → 딥러닝의 첫 전성기
  

🔹 2000년대

• 딥러닝 연구 지속 (주목은 덜함)
• 주요 모델: Restricted Boltzmann Machine (RBM), Deep Belief Networks (DBN), Stacked Denoising Autoencoder

🔹 2010년대 초

• ImageNet 우승, 음성 인식의 상용화
  

🔹 2015년

• 기계 번역(Machine Translation) 상용화 → E2E(End To End)로 가장 먼저 정복됨
  

🔹 2017년

• 알파고(AlphaGo) → 바둑에서 인간 최고수를 이김

🔹 2018년

• GAN(Generative Adversarial Network)을 통한 이미지 합성의 발전
  

기존 vs 새로운 패러다임

구분	기존 패러다임	새로운 패러다임
특징 추출 방식	hand-crafted feature 사용	raw 데이터를 그대로 입력
처리 구조	여러 sub-module 조합	단일 신경망 기반 end-to-end 학습 (하나의 테스크에 하나의 모델)
예시	음성인식, 기계번역 등	최신 자연어 처리 및 컴퓨터 비전 모델 등

• 하나의 신경망 모델이 장점이 될 수도 있지만, 왜 안 되는지, 해석이 굉장히 어려워질 수 있음
• 그래서 DL은 블랙박스다~!
  → 장점이자 단점임. 사람이 설정한 가정이 틀릴 수도 있기 때문에

---

7. 열린 문화와 트렌드 변화

• 오픈소스 기반 생태계 활성화 ex) GitHub(코드), arXiv.org(논문)
• 빠른 코드, 논문 공유 → 연구 트렌드가 매우 빠르게 변화
• 단점: 사용자와 연구자의 부담 증가
  (최신 연구들을 따라가기가 너무 힘들다 😂.. 모든 연구가 다 좋아보임)
  → 진흙 속에서 진주를 찾는 능력이 매우 매우 중요하다!

---

8. 딥러닝의 주요 활용 분야

• 음성 인식: Siri, Google Assistant, Bixby 등
• 기계 번역
• 자율주행 자동차
• 이미지 분석: 객체 인식, 이미지 분류
• 이미지 생성 및 보정: 흑백 → 컬러, 저해상도 → 고해상도
• 데이터 분석:
  • 표 형식 데이터(Tabular data)
  • 시계열 데이터(Time-series data)

---

9. 딥러닝 워크플로우 프로세스

1. 문제 정의 (Problem Definition)

• 가장 중요한 단계
• 문제를 단계별로 나누고 단순화(simplify) 필요
• 입력 x와 결과 y 정의:
  y = f(x) 형태로 신경망이 처리 가능하게 구성

2. 데이터 수집 (Data Collection)

• 정의된 문제에 맞게 x와 y 수집
• 수집 방법 예시:
  • 자연어처리 / 컴퓨터비전: 웹 크롤링
  • 데이터 분석: 시스템에서 수집한 실제 데이터
• 레이블링(labeling) 필수인 경우 많음
  → 자동 레이블이 있는 경우도 있지만, 대부분 수작업 필요

❗ 비지도 학습(unsupervised learning)에 너무 의존하지 말 것
상용화 수준의 모델을 만들 때는 레이블이 있어야 원하는 수준의 성능이 나온다!!
레이블링이 사실 다 돈이지만, 처음에는 일단 직접 레이블링을 한번 해보자!
데이터 라벨링 같은 경우도 단순 노가다 같겠지만, 이것도 모델 연구할 때 모두 살이 되고 피가 된다.

3. 데이터 전처리 및 분석 (Preprocessing & EDA)

• 신경망에 넣기 위해 입출력 형태 정제
• 주요 작업:
  • Cleaning, Normalization
  • Exploratory Data Analysis (EDA): 데이터 특성 파악
• 컴퓨터 비전의 경우 데이터 증강(Augmentation) 수행
  예: 회전(rotation), 좌우반전(flipping), 이동(shifting)
• 표준 방법이 없지만, 이것도 마찬가지로 경험치가 많이 쌓여야 함

4. 알고리즘 적용 (Modeling)

• 데이터 기반 가설 설정 후
• 해당 가설에 맞는 알고리즘(모델)을 구현 및 적용
• 한번에 성능이 잘 나올 수가 없다!!
• 삽질이 매우 필수적, 코드를 처음부터 깔끔하게 짜자(클린 코드와 아키텍쳐 베이스 지식이 중요한 이유)

5. 평가 (Evaluation)

• 정의한 문제에 맞는 평가 기준 설정
• 공정하고 신뢰성 있는 테스트 설계 필요
  • 테스트셋은 너무 쉽거나 어렵지 않도록
  • 실제 데이터 분포에 가깝게 구성
• 평가 유형:
  • 정량적 평가 (extrinsic evaluation)
  • 정성적 평가 (intrinsic evaluation)

6. 배포 (Deployment)

• 학습 완료된 모델의 weights(파라미터) 파일을 저장 및 배포
• RESTful API 등을 통해 서비스 형태로 래핑
• 데이터 분포 변화에 따라 유지보수 / 모델 업데이트가 필요할 수 있음
  • 그래서 처음부터 유저가 알아서 데이터를 갈아끼고 재학습 시킬 수 있도록 해주는 것도 좋은 방법

---