온라인학습(Online Learning)
- 학습데이터를 한꺼번에 학습시키기에 양이 많아 시간이 크게 소요되는 경우가있다. 따라서 그 학습데이터를 미니배치(mini-batch)의 단위로 나누어서 학습시키는 형태를 온라인학습이라고한다. 미니배치 단위의 학습은 미니 배치 만큼에 대한 비용(cost)를 계산해서 경사하강법을 수행하고 다시 그 다음 미니 배치만큼의 수행을 반복하는 것을 의미한다.
온라인 학습의 장점
- 한번학습한 데이터는 추가로 나중에 새로운 데이터를 학습할 때 다시 학습시켜줄 필요가 없으며 각 학습의 단계가 빨라 연속적으로 데이터를 받아 변화에 빠르게 적응해야하는 시스템에 적합하다.
온라인 학습의 단점
- 나쁜 데이터가 주입되었을 때 시스템 성능이 저하될 수 있기 때문에 이를 방지하기위한 모니터링이 중요하다.
딥러닝의 역사
인공지능의 시작
오래전부터 과학자, 개발자들은 우리 사람처럼 생각하는 기계를 만들어 우리대신 문제들을 해결하고 인류가 더 좋은 방향으로 진보해야한다는 꿈이있었다. 그런 목표로부터 인간을 본딴 기계의 발명을 생각하게되었고 인간의 핵심이라고도 할 수 있는 뇌를 모티브로 인공지능, Neural Network의 발전은 시작되었다. 사람들은 우리 뇌가 어떤 신호가 들어왔을 때 그 신호가 전달되어 어떤경우에는 출력을 하고 또 어떤경우에는 추력신호가 나오지않는 것처럼 동작하는 것을 확인했다.
따라서 그림처럼 어떤 입력들(X)이 들어왔을 때 그 입력마다 가중치(W)가 곱하고 바이어스(b) 더한 후 활성화함수(activation function)라는 것을 통해 그 신호가 출력되기도하고 출력되지 않기도하는 시스템을 생각했다.
침체기
그러한 시스템을 응용한 기계를 만들어 우선은 아래와 같은 or, and, xor와 같은 논리 데이터를 구분하고자했는데 문제는 or와 and에서는 기계가 올바른 분류를 쉽게 했지만 XOR은 도저히 해결할 수가 없었던 것이다. 그러면서 한 동안 인공지능의 발전은 침체를 격었고 이 문제를 풀기위한 해결책이 나오기전까지 더이상의 인공지능 분야의 진보는 없는 것처럼 여겨졌다.
Bacpropagation 등장
1974년도에 Paul Werbos라는 사람이 Backpropagation이라는 알고리즘을 개발하면서 드디어 위의 문제를 해결했지만 안타깝게도 아무도 그 결과에 주목하지않았고 후에 Hilton이라는 사람이 1986년 다시 같은 방법을 재발견한 후에야 비로소 Backpropagation 알고리즘이 주목받게되었다.
Convolutional Neural Network 모델 등장
또 한편으로는 고양이에게 어떤 자극을 주었을 때 신경망 전체가아니라 일부분만 자극에 응답해 활성화되는 것에 착안하여 우리 인간도 이미지를 볼때 그림 전체를 인식하는 것이아니라 신경망 일부가 부분부분을 인식한 후 나중에 합쳐지는 것이 라는 생각을 하게되면서 CNN(Convolutional Neural Network)모델을 만들어내게 되었다.
Big Problem, 그리고 두번째 침체기
그동안 학습을 잘 해오던 Backpropagation 알고리즘이 적은수의 layer에서는 잘 예측을 했지만 더 복잡한 문제를 해결하기위해 layer가 많아지면 제대로 동작하지않는 문제가 발생하였다.
한편으로는 SVM(Support Vector Machine), RandomForest와 같은 기본적인 기본적인 알고리즘이 나오면서 더 간단하면서도 효율적이라는 것이 검증되었고 그럼에도 불구하고 인공지능분야는 또 다시 두번째 침체기를 맞게된다.
CIFAR
CIFAR는 캐나다의 연구협회인데 인공지능의 침체기에 연구를 주도하고 지원하는 등 인공지능이 다시 도약할 수 있도록 크게 기여하였다.
Breakthrough
그 동안 굉장히 복잡하고 deep한 신경망은 학습이 어려웠는데 초기값, 가중치(W)를 잘 설정해주면 학습할 수 있다는 논문이 발표되면서 복잡한 문제의 해결이 가능하다는 희망이 생겼다. 이 시기에 새로운 변화가 필요하다고 느꼈던 것인지 뭔가 어렵고 지루하게만 느껴지는 neural network라는 용어도 deep leaning으로 rebranding하게 되었다.
또한 imageNet이라는 이미지를 맞추는 대회에서 매년 에러율이 크게 개선되었고 결국에는 2015년 인간의 분석한 에러율(5%)를 넘어서는 3%의 에러율을 달성하면서 다시금 인공지능, 딥러닝 분야가 큰 주목을 받게 되었다. 한걸음 더 나아가 딥러닝은 이미지, 음성인식/분석 그리고 2016년에는 알파고라는 인공지능이 인간 지능의 최고수준의 분야라는 바둑에서 세계정상의 기사들을 압도하는 수준까지 도달하였다.
