Gradient

도룩·2023년 4월 16일
math
0
  • Chain rule
      \;
    Gradient는 미분과 밀접한 관련이 있다. 그리고 여러 함수들에 대해 미분을 자유롭게 하려면
    Chain rule을 알아야 한다.
      \;
    Chain rule은 합성함수를 미분할 때 사용한다.
    쉽게는 합성함수를 쪼개서 각각의 도함수를 구한 후 곱한다! 라고 생각하면 된다.
      \;
    y=f(x),z=g(y)  y=f(x), \quad z = g(y)\;에서 함수 z  z\;를 x  x\;에 대해서 미분해보자.
      \;
    dzdx=lim⁡Δx→0g(f(x+Δx))−g(f(x))Δx\displaystyle\frac{dz}{dx}=\lim_{\Delta{x} \rightarrow 0}\frac{g(f(x+\Delta{x}))-g(f(x))}{\Delta{x}}
      \;
        =lim⁡Δx→0g(f(x+Δx))−g(f(x))f(x+Δx)−f(x)×f(x+Δx)−f(x)Δx\quad\;\;=\displaystyle\lim_{\Delta{x} \rightarrow 0}\frac{g(f(x+\Delta{x}))-g(f(x))}{f(x+\Delta{x})-f(x)}\times \frac{f(x+\Delta{x})-f(x)}{\Delta{x}}
      \;
      \;
    ∴dzdx=dzdy×dydx\therefore\quad\displaystyle\frac{dz}{dx}=\frac{dz}{dy}\times\frac{dy}{dx}
      \;
      \;
    이제 Chain rule를 사용해 (x2+1)2  (x^2+1)^2\;을 x  x\;에 대해 미분해보자.
      \;
    d(x2+1)2dx  \displaystyle\frac{d(x^2+1)^2}{dx}\;를 구하는 것이다. 이를 Chain rule을 사용한다면 다음과 같이 표현가능하다.
      \;
    d(x2+1)2dx=d(x2+1)2d(x2+1)×d(x2+1)dx2×dx2dx\displaystyle\frac{d(x^2+1)^2}{dx}= \frac{d(x^2+1)^2}{d(x^2+1)}\times \frac{d(x^2+1)}{dx^2}\times \frac{dx^2}{dx}
      \;
          =2(x2+1)×1×2x\quad\quad\quad\quad\;\;\; = 2(x^2+1) \times 1 \times 2x
      \;
          =4x(x2+1)\quad\quad\quad\quad\;\;\; = 4x(x^2+1)
      \;
      \;
      \;
  • 편미분
      \;
    Gradient를 이루고 있는 value 이다.
    편미분은 여러 개의 변수로 이루어진 함수를 미분할 때 각각에 대해서 미분하는 것이다.
    어떤 변수에 대해 미분한다고 했을 때 그 변수를 제외한 나머지 변수들은 상수 취급을 하면서 미분해주면 된다.
      \;
    예를 들어 z=yx2  z=yx^2\;를 xx에 대해, 그리고 yy에 대해 미분한다고 해보자.
      \;
    dzdy=x2,dzdx=2yx\displaystyle\frac{dz}{dy}=x^2, \quad\quad \frac{dz}{dx}=2yx
      \;
    끝이다. 아주 간단하다!
      \;
      \;
      \;
  • Gradient
      \;
    Graident는 편미분 결과를 벡터로 묶은 것이다.
      \;
    이게 무슨 말이냐고? 한 번 예시를 보면 바로 이해할 것이다.
    방금 위에서 예시로 들었던 함수 z=f(x,y)=yx2z=f(x,y)=yx^2 의 Gradient를 구해보자.
      \;
    f(x,y)f(x,y)의 Gradient는 다음과 같다. [dzdxdzdy]=[2yxx2]\begin{bmatrix} \displaystyle\frac{dz}{dx}\\ \quad \\ \displaystyle\frac{dz}{dy} \end{bmatrix}=\begin{bmatrix} 2yx\\ \quad \\ x^2 \end{bmatrix}
profile
도룩
이전 포스트

두 벡터는 얼마나 닮았을까 (Dot product, Cosine Similarity)

다음 포스트

Darknet 명령어

0개의 댓글