[딥러닝] 성능향상(2차 미분)

Peter·2021년 7월 7일
0

딥러닝

목록 보기
32/47

경사하강법

  • SGD 방법은 1차 미분을 활용한 경사 하강법
  • 현재 기계 학습의 주류 알고리즘
  • 경사도에 잡음이 있는 문제가 잇음
  • 위 문제를 2차 미분 정보를 활용하려고 함

경사하강법을 더 빠르게?

  • 파란 경로는 현재 경사하강법이 해를 찾아가는 과정
  • 1차 미분으로는 빨간 경로를 찾을 수 없음
  • 도달한 다음 도착지에 대한 기울기만 알 수 있기 때문
  • 뉴턴 방법은 2차 미분 정보를 활용해 빨간 경로를 알아냄

1차 미분 최적화 & 2차 미분 최적화

1차 미분의 최적화

  • 경사도 사용해 선형 근사 사용
  • 근사치 최소화

2차 미분의 최적화

  • 경사도와 헤시안을 사용해 2차 근사 사용
  • 근사치의 최소값
profile
컴퓨터가 좋아

0개의 댓글