Deep Neural Network
Deep L-layer neural network
심층 신경망은 2가지 이상 숨겨진 층을 가지고 있는 모델이다. 신경망의 층을 세는 경우, 입력값의 층을 세지 않는다. 결과값 그대로의 층의 수를 센다.
Why deep representations?
신경망의 크기가 단순이 큰 것보다 깊고, 숨겨진 레이어가 많은 것이 중요하다.
음성인식 시스템을 만들 때 숨겨진 레이어가 많은 심층신경망같은 경우, 초기의 층에서 낮은 레벨의 간단한 특성을 배울 수 있게 만들고, 그 후의 층에서는 간단한 특성을 합칠 수 있도록 하고, 좀 더 복잡한 단어나 문장과 발음을 감지할 수 있도록 만든다.
Forward and Backward Propagation
Forward Propagation과 Backwark Propagation에 대한 개념 정리이다. 강의를 해주시는 Andrew Ng의 필기를 캡쳐한 것이다.
Parameters vs HyperParameters
- HyperParameters
learning rate
iteration(기울기 강하에 대한 iteration)
숨겨진 레이어의 개수 L
activation functions
등등 Hyperparameter의 여러 종류가 있다.
좋은 Hyperparameter의 값을 알아내는 것은 매우 어렵다. 따라서 여러번 반복해서 시도해봐야한다. 오늘날의 하이퍼파라미터 최적값으로 튜닝한다하더라도, 그 값은 계속해서 변할 것이다. 그렇기때문에 다른 값들을 시도해보고, cross-validation set와 같은 것을 통해 평가하여 가장 잘 맞는 값을 찾아나가야한다.
마무리
4주차 강의를 모두 수강했다. 처음에 잘못 이해한 것 같은데, 다른 강의를 통해 CNN, RNN을 배우는 것이었고, 해당 강의는 신경망 모형에 대한 수학적인 강의, 이론적인 강의 내용이었다. 영어로 수학 강의를,, 그것도 딥러닝 강의를 듣는 것은 쉽지 않았다. 하지만 설명을 잘해주시고, 온라인 강의 특성상 멈춰가며 이해하고 다음 강의를 들을 수 있어서 나의 속도로 공부를 할 수 있었다. 다음에도 다른 강의를 수강할 것이다.
