AND/OR problem: linearly separable?
: AND 혹은 OR의 logic을 풀 수만 있다면 생각할 수 있는 기계를 만들 수 있다고 생각
: 이것을 기계가 예측할 수 있도록 하는 것이 가장 중요한 문제 중 하나였음
XOR problem: linearly separable?
: 0,1 / 1,0 다를 때 1
: 0,0 / 1,1 같을 때 0
: linear하게 선을 그어도 xor 문제를 해결하지 못함.
Perceptrons(1969) by Marvin Minsky, founder of the MIT AI Lab
: MLP(Multi Layer Perceptrons)이 필요하다고 주장
: weight, bias를 학습을 시킬 수 없다고 주장
: "No one on earth had found a viable way to train"
Backpropagation(1974,1982 by Paul Werbos, 1986 by Hinton) = 오차역전파법
: 조금 더 복잡한 형태의 망을 학습 시킴
: XOR 연산 가능
: 더 복잡한 형태의 예측이 가능해짐
Convolutional Neural Networks(LeCun 1980)
: 고양이에게 그림을 보게 한 다음 시신경의 뉴런이 어떻게 동작하는지 확인 함.
: 그림의 형태에 따라 일부의 뉴런들만 활성화
: 우리가 그림을 볼때 우리의 신경망 세포가 동시에 그림 전체를 보는 것이 아니라 일부의 부분부분들을 담당하는 신경망들이 있고 나중에 조합되는 것이 아닐까 생각함.
: 문자를 인식하고 숫자를 인식하는데 90% 이상의 성능을 보여줌.
: 1990년대 후반, 전체 10~20%의 미국에서 사용되는 책들이 해당 기계를 통해 읽혀짐.
A BIG problem
: Backpropagation 알고리즘이 몇 개 정도의 layer에서는 잘 동작하는데, 최소 10여개 이상이 되는 layer를 학습시키는 과정에서 성능이 떨어짐.
: SVM, RandomForest 등의 머신러닝 알고리즘이 떠오름.
: 다시 Neural network의 침체기가 옴.
Breakthrough (in 2006 and 2007 by Hinton and Bengio)
: 초기값을 잘 주는 것이 중요
: 깊게 신경망을 구축하면 복잡한 문제를 풀 수 있다고 주장
: Deep Nets, Deep Learning으로 이름을 바꿈.
IMAGENET (Large Scale Visual Recognition Challenge)
: 어떤 그림을 주고 해당 그림이 무엇인지 컴퓨터에게 맞추게 하는 것.
: 최근 deep learning 기반의 시스템은 3% 대의 에러로 들어감.
