3-2. Simple Optimization Examples

Solving the Optimization Problem

• 주어진 y가 있고 w1,w2,...w(m)이 주어져있을 때 w값을 조절하면서 Error를 최소화해야 한다.
• 쉽지 않은 과정이다.

Optimization with One variable

• 쉬운 예를 들어 문제를 해결해보자
  

• 해당 경우에서는 쉽게 찾을 수 있다.
  

-> 미분값이 0인, 즉 기울기 값이 0인 지점

Optimization with Two Variables

• 조금 더 난이도를 올려서 변수가 2개인 문제를 해결해보자.
  

• f(w)가 최소가 되는 지점은 동일하게 모든 방향에서 f(w) 미분값이 0이 되는 지점이다.

• w1, w2에 대해서 편미분 실행
  기존식 : f(w1,w2) = (w1)^2 + (w1)(w2) + 2(w1) - (w2)^2
  w1에 대해서 미분 : f(w) = 2(w1) + (w2) -2
  w2에 대해서 미분 : f(w) = (w1) - 2(w2)