가설 함수
위의 식은 아주 간단한 형태의 가상함수이며 우리가 인공 신경망에서 학습하는 weight들이 theta1에 해당하고 theta0는 bias에 해당합니다.
딥러닝에서 우리는 신경망을 학습시켜 가설함수를 참 값과 거의 유사하게 mapping 하는 것을 목표로 합니다.
비용 함수
비용함수는 참 값과 가장 오차가 적은 가설함수를 도출하기 위해 사용되는 함수입니다.
가설함수의 형태를 결정짓는 것은 매개변수(parameter)라 부르는 θ입니다. 우리는 이 θ 값을 적절하게 조정하여 실제값 y에 가장 근접한 가설함수를 도출해내야 합니다.
당연히 처음에는 파라매터가 랜덤한 값으로 주어지기 때문에 가설 함수 또한 말도 안되는 output을 낼 것입니다. 이 때 참 값과 얼만큼 차이가 나는지 계산하는 방법이 다양한데 그 중 가장 대표적인 것이 위 그림인 MLE(Mean Square Error) 함수입니다.
일반적으로 MLE는 회귀문제에서 사용하고 분류문제의 경우 CE를 사용합니다.
활성화 함수
활성화 함수는 인공 신경망의 출력을 말 그래도 활성화 할지 말지를 결정하는 함수입니다.
학습의 효율을 위해 신경망의 출력들 중 유의미한 정보만을 선별하기 위해 활성화 함수를 사용합니다. 또한 신경망의 출력이 전파될지 안될지 예측할 수 없기에 비선형적인 특성 또한 얻게 됩니다.
문제가 복잡할수록 정답 함수에 성공적으로 근사하기 위해 비선형적 특성이 필수적인데 딥러닝에서는 층을 깊게 쌓음으로 써 이를 해결하고자 합니다.
층을 깊게 쌓으면 그만큼 활성화 함수도 많이 거치게 되고 자연스럽게 더욱 비선형적인 특성을 얻게 됩니다.
초기에는 Sigmoid 함수를 사용했지만 역전파할 때 미분 값이 0에 근접하는 문제가 발생해 요즘에는 거의 사용하지 않고 대신 ReLU 함수를 활성화 함수로 많이 사용합니다.
