[딥러닝] 성능향상(2차 미분-켤레 경사도 방법)

Peter·2021년 7월 7일
0

딥러닝

목록 보기
34/47

켤레 경사도

직선 탐색

  • 이동 크기를 결정하기 위해 직선으로 탐색하고, 미분

  • 기존 경사 하강법은 g2로 직선 탐색할 때 직전에 사용한 g1 정보를 전혀 고려하지 않음

  • 결레 경사도는 직전 정보를 사용해 해에 빨리 접근

정리

유사 뉴턴 방법의 기본 개념

문제점

  • 경사 하강법: 수렴 효율성 낮음
  • 뉴턴 방법: 헤시안 행렬 연산 부담 -> 헤시언 H의 역행렬을 근사하는 행렬 M을 사용

그렇다면?

  • 대표적으로 점진적으로 헤시안을 근사화하는 LFGS가 많이 사용됨
  • 기계 학습에서는 M을 저장하는 메모리를 적게 쓰는 L-BFGS를 주로 사용함

기계학습에서 2차 미분 정보의 활용

  • 현재 실사용수준에 도달하지 않았지만 연구는 계속되고 있음
profile
컴퓨터가 좋아

0개의 댓글