Neural Network

Week2 Review

1. GD (Gradient Descent)
   Gradient vector: 함숫값이 증가하고 감소하는 방향을 알려줌
   우리는 cost 함수를 가장 빠르게 감소시킬 수 있는 방향에 관심이 있음

2. Vectorize

3. Computation graph
   z=w_1x_11+w_2x_12+w_3x_13+b
   a=sigmoid(z)

   forward propagation : a를 구하고 loss까지 구하는 과정
   backward propagation : 반대방향으로 loss의 gradient를 구하는 과정

Week3

• Cross Entropy
  logistic regression의 loss로 Cross Entropy를 사용
  L(a,y)=-(yloga+(1-y)log(1-a))

• Cross function
  J(w,b)= ∑L(a_i,y_i)/m

• Loss를 줄이기 위해 parameter인 w1을 어떻게 바꿔야 할까?
  => L을 w1에 대해 미분해서 gradient descent를 해준다
  => dL/dw1 = dL/da x da/dz x dz/dw1

Neural Network
hidden layer가 1개 있는 신경망 모델

위의 신경망에서 hidden layer까지를 행렬로 표현 :

=> WX의 shape는 (3,m)
위에서 구한 z값에 sigmoid 함수를 취해(=activation) a값으로 변환한다.

numpy 함수

1. np.zeros : 원하는 shape에 맞는 영행렬 생성
2. np.exp : nd array의 원소들을 e^x로 바꿔줌
3. X.shpe: X라는 nd array의 shape을 return
4. np.arrange
   ① np.arrange(stop) : 0부터 시작해서 stop 직전의 수까지로 1차원 array
   ② np.arrange(start,stop) : start부터 stop 직전의 수까지로 1차원 array
   ③ np.arrange(start,stop,step) : start부터 stop 직전의 수까지 step씩 증가하는 수로 1차원 array
5. X.reshape : X라는 nd array를 내가 원하는 shape에 맞게 재배열
6. np.sum : nd array의 원소의 합을 구해줌
7. X.T : X라는 nd array의 transpose를 구해줌
8. np.multiply : 두 nd array의 위치가 같은 원소끼리 곱