07강. 딥러닝 핵심 개념 이해 (4)

(single - layer) Perceptron 단층 퍼셉트론 SLP

(Multi - layer) Perceptron, MLP 다층 퍼셉트론 : Artificial Neural Network

DNN Deep Nueral Network : hidden layer가 2개 이상인 인공신경망, 이를 활용해서 머신러닝을 하는 것 : Deep Learning

<행렬 계산>

• 계산 이후
  행 : 앞의 행렬의 행, 열 : 뒤의 행렬의 열

• 행렬곱 : 곱하고 곱하고 곱해서 더함 : 선형결합과 관련

1.
2.
3. soft max : 활성화 함수
4. y_data (정답 data)를 one-hot encoding을 해서 정답 data와 비교 => "Cross Entropy"

• 선형 결합 후 활성화 함수 : 차원을 바꾸지 않음

• tensor flow 실습 시, seta 행렬을 직접 설정해주어야함

• svm 의 커널 함수 : 기존의 열을 바탕으로 새로운 열을 만들어냄

• 세타를 곱해주어서, 새로운 열을 만들어냄 hidden layer : 학습 가능한 커널 => 점점 더 높은 차원으로 변경

• hidden layer에는 주로 ReLu / tanh

1. 회귀 분석 : 별도의 활성화 함수 x
2. multi-class => softmax
3. 이진 분류

• 2개의 output -> softmax
• 회귀 분석처럼 1개의 output -> 활성화 함수로 sigmoid 함수를 사용 => 양성 클래스일 확률값

행렬

Forward Propagation

Back Propagation Algorithm

42분!

• PReLU

• Vanishing Gradient 문제 : 인공지능의 2차 겨울