Neural Networks

보통 Deep Learning은 인간의 뇌를 모방하여 만들었기 때문에, 좋은 성능이 나오는 것이라고 말한다. 하지만 최성준 교수님은 조금 다르게 딥러닝을 말씀 하셨다. 날기 위해서 모든 비행기 모양이 새를 모방한 것이 아니듯, Deep Learning 또한, 인간의 뇌를 모방한 것이 아니라 수학적 이론을 기반으로한 잘 짜여진 함수라고 정의하셨다.

Linear Neural Networks

입력과 출력이 1차원인 문제를 풀 때, 가장 대표적인 방법은 Linear Regression 이다.

위의 수식은 Linear Regression에 쓰이는 수식이다.

선형 회귀를 위해 기울기인 w와 절편인 b를 알아야 한다.

w와 b는 Loss를 최소화하여 구한다.

w와 b를 최소화하기 위한 방향을 위해 미분값을 사용하며, 미분값의 -를 곱하여 w와 b를 더한다. (경사하강법)

Loss란?

실제 값인 y에서 예측값인 ^y을 뺀 값을 말한다. ^y은 예측한 w와 b를 바탕으로 데이터인 x를 넣어구한다.

Beyond Linear Neural Networks

세상의 수많은 데이터들은 입력과 출력의 차원이 정해져 있지 않다. 즉, 우리는 가중치인 w와 입력 Data의 Matrix 연산을 통해 Output Data를 조절할 필요가 있다. 이를 위해 그림 처럼 가중치인 w를 여러개 사용하게 된다. 물론 한개의 w만 사용해서 원하는 Output Data의 형태를 만들수 있지만 보다 정밀한 Output Data를 만들기위해 여러개의 w를 사용한 것이 일반적이다. 이 때, 정밀한 w를 위해 Loss를 최소화 해야할 필요가 있다. 이를 위해 Neural을 깊게 쌓아야한다. 이를 도와주는것이 활성함수들 이다.

※ 어느것이 가장 좋다고 정의 할 수 없으며 데이터나 모델에 따라 최적의 활성함수를 선택해야한다.

활성함수,오차 계산, Loss 최소화(역전파) 를 통해 우리는 최적의 w를 얻을 수 있으며, 이러한 메커니즘이 Deep Learning의 기본 개념이다.