[딥러닝수학] 벡터_3, 편미분

book title : 딥러닝을 위한 수학
pages : 103 ~ 113
key concepts :

• 코사인 유사도(cosine similarity)

  • 벡터의 내적 공식 중 $\cos{\theta}$을 이용하는 식을 보면,
  • 내적 값을 통해 두 벡터의 각도가 얼마인지 계산이 가능
  • 이를 통해 두 벡터의 가까움을 계산할 수 있음
  • 다시 말해, 벡터의 성분을 알면 두 벡터가 이루는 각을 구할 수 있다
  • 이전에 추천 시스템 프로젝트에서 코사인 유사도를 통해 추천하는 것을 경험했었다.
  • $\cos{\theta} = \frac{a_1b_1 + a_2b_2}{|\mathbf{a}||\mathbf{b}|} = \frac{a_1b_1 + a_2b_2}{\sqrt{a_1^2 + a_2^2} \sqrt{b_1^2 + b_2^2}}$

• 행렬곱 표현

  • 딥러닝의 여러 가중치 곱을 행렬과 벡터의 곱으로 나타낼 수 있다는 포인트

다변수함수

• 편미분(partial derivative)

  • 딥러닝에서 왜 쓰이는지 의미적으로 이해해보자
  • 즉, 다변수 함수로 나타나는 딥러닝 모델에서(입력 여러 개, 출력은 Loss function 값) 각각의 변수에 대한 미분, 변화율 (혹은 변화량 ?)을 구하고자 하기 때문에 편미분이 쓰인다.
  • 이 때 특정 변수 하나 빼고 나머지는 상수 취급해서 편미분 값을 구한다.
  • 2변수 함수의 경우 3차원 그래프에서 곡면으로 나타나는데,
  • 이를 편미분한다는 것은 아래와 같다.
    • 편미분 $L_u(0, 0)$은 함수의 곡면을 평면 $v = 0$으로 자른 다음, 그 단면에서 만들어지는 1변수 함수의 그래프에서 $u = 0$일 때의 그 점의 기울기를 말한다.

• 전미분(total differential)

  • 공식적으로는($u, v$에 대한 2변수함수 $L$이 있을 때)
  • $dL = \frac{\partial L}{\partial u}du + \frac{\partial L}{\partial v}dv$
  • 직관적으로 이해하자면, 입력 변수들을 변화시킬 때 큰 그림에서 전체 출력값의 변화량은 각각의 입력 변수들의 변화량들을 더한 것과 같다(그렇게 이해했는데 맞나...?)
  • 여튼, 딥러닝의 Loss function 값을 구할 때 저런 식으로 됐던 것 같다.