출처: 모두를 위한 딥러닝 강좌 시즌 1 by Sung Kim

---

지난 번 내용에서 신경망이 몇 개의 layer들이 있는 경우 잘 학습시키지만, layer가 많을 경우 학습이 잘 일어나지 않는 BIG problem 에 대해서 이야기했다.

당장의 직접적인 활용에 구애 받지 않고, basic research 할 수 있도록 장려하는 캐나다의 CIFAR 라는 단체가 있었다. 당시 신경망에 대한 냉랭한 분위기 속에서, 신경망 연구자 Hinton은 1987년 캐나다로 넘어가 이 단체의 연구 지원을 받게 되었다. 현대 딥러닝의 발전에 대한 이 단체의 공헌이 굉장히 큰 것으로 평가받는다.

Deep Nets, Deel Learning

• 2006년과 2007년에, Hinton과 Bengio는 layer가 많은 신경망이라도, weight의 초기값을 잘 주면 학습이 가능하다고 하다고 주장했다.
• 또한, 이렇게 '깊은' 기계 학습 모델은 다른 '얕은' 방법들보다도 어려운 문제들을 더욱 효율적으로 해결할 수 있다고 주장했다.
• 이때 이들은 신경망(Neural Network)을 Deep Nets, Deep Learning으로 리브랜딩 하여 다시 관심을 끄는 데에 성공했다.

Image Net

Image Net이라는 챌린지는 어떤 그림을 주고, 그 그림이 무엇인지 컴퓨터에게 맞추도록 하는 챌린지였다.
그런데 이게 쉽지 않아서 computer vision 계에서는 이를 아주 중요한 문제로 다루고 있었다.
2010년도 기준 약 30%에 가까운 error rate를 보였고, 매년 1~3%씩 발전하고 있었다. 정확도가 최소 90%는 되어야 하기에 당시 이 기술은 사용할 수 있는 정도가 아니었던 것이다.

그러던 와중 2012년 Hinton 교수 연구실의 Alex 라는 박사과정 학생이 AlexNet이라는 모델을 발표했는데, 기존의 26.2%나 되었던 오류율을 이 모델은 15.3% 까지 낮추었던 것이다.
이는 많은 주목을 끌게 되었고, 계속 발전하여 2015년 기준 딥러닝 기반 모델의 오류율이 3%대까지 줄어들었다.

기술의 발전은 더 나아가, 단순히 그림을 분류하는 것이 아니라 그림을 설명할 수도 있게 되었다. 또한 이 강의를 제공하신 김성훈 교수님의 연구실에서 개발한 Deep API Learning이라는 모델도 딥러닝을 이용해서 기존의 기술을 25%의 정확도에서 약 65%까지 발전시키는 데에 기여했다고 한다.

이 외에도 현재 딥러닝은 음성 인식, 게임 학습, 알파고 등 수많은 분야에 적용되고 있다.

이 분야의 연구자가 아닌 사람에게는 이게 무슨 상관이 있을까?

만약 누군가

• 데이터를 가지고 있거나
• 무언가를 팔고 있거나
• 어떤 종류든 비즈니스를 하고 있다면

충분히 상관있는 일이고, 알아두면 좋다.
ex) 유튜브, 페이스북, 구글 검색 엔진 등 수많은 비즈니스에 이미 적용되어 있음

왜 지금?(딥러닝을 배워야 하는가)

(2015년 강의 기준)

• 학생/연구자
  - 세계적 전무가가 되기에 늦지 않은 시점
  • 수학적으로 그리 복잡하지 않다 (정말?)
• 실용적 사용자
  - 실제로 사용하기에 충분히 정확한 성능이다.
  • TensorFlow와 같이 이를 사용하기 좋은 툴들이 많다.
  • Python과 같은 간단한 프로그래밍 언어를 통해 가능하다.
• 재밌다!