[딥러닝수학] 최적화(3), 인공신경망의 기본 구성

book title : 머신러닝, 딥러닝에 필요한 기초 수학 with 파이썬
pages : 242 ~ 270
key concepts :

• 최속강하법(steepest descent method)
  : x = x(k) + $a$d(k)일 때 함수의 차원이 아무리 높아도(이것은 x의 차원...?) 강하 방향이 결정되면 결국 이 수식은 일변수 스칼라함수 $f(a)$가 된다.
  : 강하 방향이 결정되면 거기서 제일 빠르게 함수값을 줄이는 곳은 반대방향(마이너스)여서 steepest인듯 하다.

• 선탐색(line search)
  : 최적의 이동거리를 구하는 방법론
  : 머신러닝에서는 선탐색을 하지 않고 $a$(learning rate)를 대부분 적당한 값으로 고정하고 사용함
  : 그러나 scipy.optimize에 line_search로 있다. àlpha = line_search(f, df, x, d)[0] -> [0]은 저것의 리턴값이 튜플이어서 그 중 첫번째 요소를 이동거리 가중치로 사용함

• 켤레경사법(conjugate gradient method)
  : 강하 방향을 경사도벡터의 반대 방향(d(k) = -c(k))가 아니라 직전 강하 방향을 적당히 더해서 결정한다.
  : 그래서 완전히 90도로 꺾이는 일이 발생하지 않는다.(최속강하법과 다름)

• 선형분류기(linear classifier)
  : 다변수(3개) 함수에의 값은 식에 따라 곡면 혹은 평면이 되는데, 이 때 높이에 해당될 수 있는 z를 고정시키면 등고선, 즉 선모양이 해로 남는다.
  : 이때 이 해(x, y)로 결정되는 선을 따라 분류하는 것을 선형분류기라고 한다.
  : 근데 직선은 제대로 분류하지 못하는 경우가 많다.
  : 그렇기에 곡선 형태가 되어야 하고, 이 때 합성함수로서 여러 선형분류기를 가져다 붙인다.

• 퍼셉트론, 인공신경망
  : 대략 아는 내용