[230103-2] Deep Learning: 신경망의 기초 - 기계학습 I

Deep Learning: 신경망의 기초 - 기계학습 I

1.1.1 기계 학습의 정의

인공지능(Artificial Intelligence)이란?

• 인간의 학습, 추론, 지각, 자연언어 이해 등의 지능적 능력을 기기로 실현한 기술

학습이란?

• "경험의 결과로 나타나는, 비교적 지속적인 행동의 변화나 그 잠재력의 변화 또는 지식을 습득하는 과정"

기계 학습(Machine Learning)이란?

• 인공지능 초창기 정의
  "Progeramming computers to learn from experience should eventually eliminate the need for much of this detailed programming effort. 컴퓨터가 경험을 통해 학습할 수 있도록 프로그래밍할 수 있다면, 세세하게 프로그래밍해야 하는 번거로움에서 벗어날 수 있다[Samuel1959]."

• 현대적 정의
  "A computer program is said to learn from experience E with respect to some class of tasks T and performace measure P, if its performance at tasks in T, as measured by P, improves with experience E. 어떤 컴퓨터 프로그램이 T라는 작업을 수행한다. 이 프로그램의 성능을 P라는 척도로 평가했을 때 경험 E를 통해 성능이 개선된다면 이 프로그램은 학습을 한다고 말할 수 있다[Mitchell1997]"

  -> 최적의 프로그램(알고리즘)을 찾는 행위
  - 경험 E 를 통해
  - 주어진 작업 T 에 대한
  - 성능 P 의 향상

  "Programming computers to optimize a performance criterion using example data or past experience. 사례 데이터, 즉 과거 경험을 이용하여 성능 기준을 최적화하도록 프로그래밍하는 작업[Alpaydin2010]"
  "Computational methods using experience to improve performance or to make accurate predictions. 성능을 개선하거나 정확하게 예측하기 위해 경험을 이용하는 계산학 방법들[Mohri2012]"

• 기계 학습과 전통적인 프로그래밍의 비교
  

1.1.2 지식기반 방식에서 기계 학습으로의 대전환

• 인공지능의 탄생 == 연산 장치의 탄생
  컴퓨터의 뛰어난 능력
  복잡한 연산을 사람보다 잘함
  ex) 80932.4321575*0.152367512
  ex) 복잡한 함수의 미분과 적분
• 인공지능의 주도권 전환
  지식 기반 -> 기계 학습 -> 심층 학습deep Learning(표현 학습Representation Learning)
  데이터 중심 접근방식으로 전환

1.1.3 기계 학습 개념

• 간단한 기계 학습 예제

  • 가로축은 시간, 세로축은 이동체의 위치 <- 모든 데이터는 정량화된 형태로 표현(벡터)
  • 4개의 점이 데이터 관측
    

• 문제task 예측prediction

  • 임의의 시간이 주어지면 이때 이동체의 위치는?
  • 예측은 회귀regression 문제와 분류classification 문제로 나뉨
    • 회귀는 목표치가 실수, 분류는 부류 혹은 종류의 값

• 훈련집합training set

  • 가로축은 특징, 세로축은 목표치
  • 관측한 4개의 점이 훈련집합을 구성함
    • 훈련 집합: X = {x_1, x_2, ..., x_n}, Y = {y_1, y_2, ..., y_n}

• 관찰된 데이터들을 어떻게 설명할 것인가?

  • 가설hypothesis : 눈대중으로 데이터 양상이 직선 형태를 보임 -> 모델을 직선으로 가정하여 선택
  • 가설인 직선 모델의 수식
    • 2개의 매개변수parameter w와 b
      y = wx + b

• 기계 학습의 훈련train

  • 주어진 문제인 예측을 가장 정확하게 할 수 있는 최적의 매개변수를 찾는 작업
  • 처음은 임의의 매개변수 값에서 시작하지만, 개선하여 정량적인 최적 성능performance에 도달

• 훈련을 마치면, 추론inference을 수행

  • 새로운unknown 특징에 대응되는 목표치의 예측에 사용

• 기계 학습의 궁극적인 목표

  • 훈련집합에 없는 새로운 데이터에 대한 오류를 최소화 (새로운 데이터 = 테스트 집합test set)
  • 테스트 집합에 대한 높은 성능을 일반화generalization 능력이라 부름

• 기계학습의 필수요소

  • 학습할 수 있는 데이터가 있어야 함
  • 데이터 규칙 존재
  • 수학적으로 설명 불가능

1.2.1 1차원과 2차원 특징 공간

• 모든 데이터가 정량적으로 표현되며, 특징 공간 상에 존재

• 1차원 특징 공간
  

• 2차원 특징 공간
  x=(x1,x2)T
  x=(몸무게,키)T, y=장타율
  x=(체온,두통)T, y=감기 여부

• 다차원 특징 공간 예제
  

• 차원의 저주(curse of dimensionality)

  • 차원이 높아짐에 따라 발생하는 현실적인 문제들
  • 1차, 2차, 3차원에서의 차원의 저주 예시
  • 예) d=784인 MNIST 샘플의 화소가 0과 1값을 가진다면 2784 개의 칸이 거대한 공간에 고작 6만 개의 샘플을 흩뿌린 매우 희소한 분포
  • 차원이 높아질수록 유의미한 표현을 찾기 위해 지수적으로 많은 데이터가 필요함

• 선형 분리 불가능linearly non-separable한 원래 특징 공간

  • 직선 모델을 적용하면 75% 정확도가 한계
    

• 식 (1.6)으로 변환된 새로운 특징 공간

  • 공간 변환을 통해 직선 모델로 100% 정확도
    

• 표현 학습representation learning

  • 좋은 특징 공간을 자동으로 찾는 작업
  • 딥러닝은 다수의 은닉층을 가진 신경망을 이용하여 계층적인 특징 공간을 찾아냄
    

• 심층학습deep learning

  • 표현학습의 하나로 다수의 은닉층을 가진 신경망을 이용하여 최적의 계층적인 특징을 학습

• 인공지능의 단계

  • 초인공지능(Super AI)
    인공지능의 발전이 가속화되어 모든 인류의 지성을 합친 것보다 더 뛰어난 인공지능
  • 강인공지능(Strong AI = 인공일반지능)
    인간이 할 수 있는 어떠한 지적인 업무도 성공적으로 해낼 수 있는 (가상적인) 기계의 지능
  • 약인공지능(Weak AI)
    인간이 지시한 명령의 틀 안에서만 일하기 때문에 예측과 관리가 용이