딥러닝을 'Representation Learning'이라고 칭하기도 함. 데이터의 표현을 학습한다는 것, 특히 사람이 가공하지 않은, 이미지나 자연어 같은 '날 것의' 데이터를 입력하면 알아서 그 안에 내재된 표현을 추출한다는 것, 이것이 바로 딥러닝이 추구하는 목표의 본질
행동주의
행동주의는 생명체가 학습하는 과정을 단순하게 자극과 행동의 반복으로 이루어지는 것이라고 설명.
이 중 생명체가 자신에게 유리한 결과를 가져다주는 행동을 알게 된다면 그 행동의 빈도를 높인다는 '강화이론'은, 머신러닝의 방법론 중 '강화학습(Reinforcement Learning)'의 근간이 되는 이론임.
인지주의
인간은 비둘기와는 다르다! 정보를 처리하는 '의식'이 있다.
행동주의는 인간의 내면을 지나치게 단순화했다는 비판을 받았음. 단순히 반복되는 자극에 따라 행동을 '강화'함으로써 학습되는 것이 아니라, 인간의 뇌 안에서 기억, 주의 등의 일련의 정보처리 과정을 거친 후 행동을 만들어낸다는 주장. 이렇게 행동주의를 반대하며 제기된 학문이 바로 인지심리학.
연결주의
정보처리는 뇌에 있는 수많은 뉴런의 연결고리를 통해 이루어진다
딥러닝은 연결주의를 따름.
딥러닝은 뇌의 뉴런이 얽히고설켜서 연결되어 있는 모양을 본뜬 '인공 신경망'을 모델로 함.
신경망은 자극(input)을 받아 내부에서 일련의 정보처리 과정을 거친 후 반응(output)을 함.
신경망 내부에서는 하나의 데이터를 여러 형태로 바꾸어가며 표현(representation)을 해 나가다가, 최종적으로 우리가 의도한 형태의 데이터를 출력.
