[딥러닝수학] 벡터화, 최적화

book title : 머신러닝, 딥러닝에 필요한 기초 수학 with 파이썬
pages : 204 ~ 222
key concepts :

• 벡터화
  • 의미 : 행렬 * 벡터 or 행렬 * 행렬의 방정식을 벡터화 해서 나타내면 선형결합(linear combination)으로 생각할 수 있게된다. 이를 통해 그 방정식의 y값이 span 안에 있는지를 판별할 수 있게 되고, 궁극적으로 존재한다면 coefficient를 구할 수 있게 된다.
  • $A[i,j]$ * x$[j]$ 혹은 $A[j,i]$ * x$[j]$ 같이 indexing을 통해 나타낸 수식이 있다면 벡터화를 통해 더 직관적으로 나타낼 수 있게 된다.
  • 이 때 $A$의 행벡터가 곱해지는지 혹은 열벡터가 곱해지는지에 따라 계산된 값의 모양이 각각 내적 및 외적으로 나타나게 된다.
• 테일러급수
  • 의미 : 어려운 함수를 특정 a지점에서라도 근사값을 나타내는 저차(좀 더 쉬운) 다항함수로 나타내게 해주는 기법
• 전역 최대/최소, 지역 최대/최소
  • 1계 도함수
  • 의미 : 함수의 특정 구간에서 구해진 미분계수의 음/양 여부를 통해 어느 방향으로 가야할지 알려준다...?
• 경사도벡터(gradient)
  • $\nabla$(nabla 혹은 del) : 편미분 연산자를 요소로 가지는 벡터
    : 나름의 벡터이기 때문에 여기에 $f($x$*)$ 즉 스칼라를 곱하면 $\nabla$$f($x$*)$라는 식으로 표시하게 되고 그것도 벡터임.(이것이 경사도벡터)