1. 딥러닝이란? 딥러닝과 머신러닝의 차이는?
인공지능 > 머신러닝 > 딥러닝
딥러닝은 머신러닝보다 작은 개념으로 '신경망'을 통해 인공지능을 만드는 머신러닝의 한 종류입니다. 신경망(Neural Network)를 따라 만든 인공신경망(Artificial Neural Network)에서 여러 계층을 쌓아서 만든 깊은 신경망(Deep Neural Network)를 딥러닝이라고 합니다.
머신러닝은 주어진 데이터를 인간이 먼저 처리하고, 컴퓨터를 학습시킨 후 식별하게 만듭니다. 딥러닝은 사람이 하던 처리 작업이 생략되어 컴퓨터가 스스로 데이터 기반 학습을 할 수 있도록 신경망을 전달합니다.
- 딥러닝은 데이터가 많아야 성능이 좋습니다.
- 딥러닝은 고사양 machine(GPU) 가 필요합니다.
- 딥러닝은 high-level features 를 학습합니다.
- high-level features란?
- 딥러닝은 train 학습 시간이 오래걸리고, test에서는 적은 시간이 소요됩니다.
딥러닝, 머신러닝 차이 : https://brunch.co.kr/@itschloe1/8
설명 너무 잘 되어 있는 블로그
2. 알고있는 Activation Function. (Sigmoid)
Binary Classification 에서는 출력 레이어의 활성화 함수로 Sigmoid를 사용합니다. Sigmoid의 수식은 오즈(odds)와 Logit에서 시작됩니다.
오즈란 실패 비율 대비, 성공비율을 나타내줍니다. 이를 그래프료 표현할 때, 1에 가까워지면 무한히 증가하기 때문에 log 를 씌워주게 됩니다.
Odds에 log를 씌운 것을 Logit이라고 하는데, p=0.5일 때, 0의 값을 가지며 -무한대~+무한대의 범위입니다.
Logit에 역함수를 유도하여 p에 관해서 정리하면 p(확률)을 logit 값으로 나타낼 수 있고, 실수 범위를 표현할 수 있는데, 이것이 Sigmoid 함수입니다.
Sigmoid 함수의 특징은 기울기 소실 문제, [0, 1] 의 범위를 갖는 다는 것입니다.
(+ Affine Function)
Weighted Sum (z) = w1x1 + w2z2 + ,,, + wn*xn 과 같이 최적화된 가중치(W) 를 각각의 x에 곱해주는 것이다.
Affine Function(Transformation) 은 Weighted Sum(z) = xw+b 와 같이 bias인 b 를 더해주는 것이다.
Aritificial Neuron 에 x가 들어온 후, Affine Function 을 거치고, Activation Function 을 거친다.
시그모이드, 소프트맥스 설명 최고 : https://blog.naver.com/luckperson7/222625981898
시그모이드, 소프트맥스 : https://blog.naver.com/qowjdtn2547/222656534174
Affine Function : https://blog.naver.com/luckperson7/222621733760
3. 기울기 소실 문제는 왜 발생할까?
Sigmoid 의 단점은 기울기 소실 문제가 발생한다는 것입니다. Sigmoid는 다음 레이어로 넘겨주는 값이 0과 1 사이인데, 이 방식이 여러 번 지속되면 sigmoid 함수의 중첩으로 오차 그래디언트가 점점 작아지며 마지막에 0에 수렴하게 됩니다.
딥러닝에서는 출력층에서 입력층으로 거꾸로 오차 그래디언트를 보내는 역전파(Backpropagation) 방식을 사용하는데, hidden layer 가 많을수록 sigmoid 함수에 의해 작아진 오차 그래디언트가 소실되어 backpropagation이 정상적으로 작동되지 않게 됩니다.
이 문제를 해결하기 위해서 ReLu, LeakyRelu 라는 활성화 함수가 나오기도 했습니다.
출처 : https://blog.naver.com/drunken_thispath/222477767920
출처 : https://blog.naver.com/drunken_thispath/222477767920
