AI/ML/DL

‍이세현·2024년 9월 29일

Turing Test(1950): 기계의 지능을 검증하기 위한 테스트 방법
- 1단계: 컴퓨터 화면을 통해 질문자와 답변자들이 대화한다.
- 2단계: 일정한 수의 질문과 대답을 주고받는다.
- 3단계: 질문자가 사람을 지목하지 못할 경우 기계에 지능이 있다고 판정한다.
다츠머스 회의(1956): 인공지능이라는 용어가 처음 쓰인 회의

초기 인공지능 모델은 규칙 기반의 인공지능으로 인간 사고의 규칙을 명시적으로 구현한 것
- 체스 인공지능 Deep Blue: 가능한 모든 경우의 수를 계산한 Rule-Based AI
- 초창기 심심이: 대화세트 DB에서 답변 제공
규칙 기반 인공지능의 한계
- 복잡한 문제를 풀기 위해 막대한 프로그래밍 시간과 연산력이 필요함
  - 바둑의 경우의 수: $10^{360}$
- 입력받지 않은 규칙에 대해서는 작동하지 못함. 응용력이 없음
  - 심심이는 새로운 질문에 대해 어떻게 대답할지 모른다.
  - 현실의 복잡한 문제를 풀기에는 명확한 한계가 존재한다.

Machine Learning

기계학습: 기계가 스스로 대량의 데이터로부터 지식이나 패턴을 찾아 학습하고 예측을 수행하도록 하는 기법
- 데이터: 컴퓨터가 처리할 수 있는 숫자
  - 학습을 위해 수학과 통계의 도구가 사용된다.

선형회귀
- 목표: Cost function $J(\theta)$ 를 최소화하는 것
- 경사하강법을 통해 파라미터 값(규칙)을 계산한다.
- 수학적 기법: 벡터 미적분학, 선형대수
- feature 추출은 사람의 몫 $\rightarrow$ 기계학습의 한계
Support Vector Machine
- 수학적 기법
Random Forest
- 통계적 기법
Naïve Bayes
- 통계적 기법

일반적으로 접하는 데이터는 매우 고차원 데이터이다.
- 이미지, 텍스트, 오디오 등은 사람이 특징을 추출하는 전처리가 필요함
Hand-crafted feature의 품질이 성능에 큰 영향을 끼침
- Hand-crafted feature를 뽑는데 사람의 직관과 아이디어가 필요함

퍼셉트론(1957): 선형 분류만 가능
- XOR 문제를 풀 수 없다는 것이 수학적으로 증명되었다(1969).
Multi-layer Perceptron(1986): 비선형 분류 가능
- Hidden layer가 한 개 이상이면 심층 신경망
- 학습 방법: backpropagation, 연쇄법칙
고차원 데이터 학습을 위해 다층 구조 시도
- 기울기 소실로 인한 학습의 어려움
AI Boom(2006): 새로운 활성화 함수 제안
- 활성화 함수 기울기 소실 문제 해결
AI Boom(2010년대)
- 인터넷 발전으로 학습 데이터 양의 기하급수적 증가
- GPU 자원을 이용한 딥러닝 학습 속도의 가속화
- 깊은 신경망을 쌓아 학습할 수 있게 됨
- 대량의 데이터로부터 featurㄷ를 알아서 학습함
- 고전 머신러닝 알고리즘의 성능을 뛰어넘게 됨
AlexNet의 ImageNet 대회 우승(2012)
- 8-layer 심층 신경망, 파라미터 수 약 6,200만개
- 이미지 인식 분야에서 인간의 오차율보다 낮을 에러율 기록(@015)
현재: 4차 산업혁명
- AlphaGo와 생성형 AI의 활성화

Hi, there 👋