FEB 0.0.9

idea 1

idea 2 : follow the slope

• derivative
• gradient
• dot prodict
• negative gradient

손실의 기울기 , 가중치 행렬

손실 함수를 사용하여 손실을 계산

Optimization

Flow the slope

• Random Search (랜덤)
  • 임의의 가중치 W 를 정하여 계산하는것
• Numerical (수리적) →수치적 접근은 느리지만 쓰기 쉽다
• Analytical (분석적) →해석적 접근은 빠르지만 에러가 날 확률이 있다 → 해석된 결과를 수치적으로 그래디언트를 구해 이를 확인한다
• 이를 gradient check 라고 부른다
• Gradient Descent (경사하강법) →
  • 바닐라 그래디언트
  • 미니배치
    • 전체 학습 데이터를 사용하는 것이 아닌 일부분을 사용하여 그래디언트를 계산
    • 미니배치사이즈는 메모리의 크기에 따라 최적화

이미지에서 피쳐를 추출하는 방법

• R,G,B 단위로 픽셀을 추출
• 컬러 히스토그램
• HOG / SHIFT features
• Bag of Words
  • 비주얼 워드 벡터로 인코딩 → k-mean

미분

P60 Q1: What happens with AdaGrad?

P67 Q2: What happens at t=0? (Assume beta2 = 0.999)

P78 Q3: Why is this impractical?