헤시안이란 무엇일까

헤시안(Hessian)이란?

헤시안은 다변수 함수의 이차 미분 정보(곡률)를 담고 있는 행렬이다.

함수가 여러 변수(예: $f(x, y)$)를 가질 때, 그 함수의 굽힘 정도, 즉 "곡률"을 알아내려면 2차 미분이 필요하다.
그 2차 미분들을 행렬 형태로 정리한 게 바로 헤시안 행렬(Hessian matrix)이다.

---

✅ 예시로 설명할게:

함수 $f(x, y)$가 있을 때,

헤시안은 다음과 같은 형태의 정사각형 행렬이다.

• 대각선: 각 변수에 대한 2차 미분
• 비대각선: 두 변수 간의 혼합 2차 미분

---

헤시안이 왜 중요할까?

1. 최적화 문제에서 극값(최솟값/최댓값/안장점)을 찾을 때 쓰인다.

   • 예: 함수의 기울기(gradient)가 0일 때,
     • 헤시안이 양의 정부호 → 국소 최소점
     • 헤시안이 음의 정부호 → 국소 최대점
     • 헤시안이 부호가 섞여 있음 → 안장점 (Saddle point) (한 방향으로는 최소처럼 보이고, 다른 방향으로는 최대처럼 보이는 점)

2. 곡률 정보를 담고 있어서,

   • 머신러닝, 딥러닝 최적화할 때
   • 뉴턴 방법(Newton's method) 같은 고급 최적화 기법에 쓰인다.

---

직관적 설명

• 1차 미분 = 기울기 (기울기가 0이면 평평)
• 2차 미분 = 곡률 (얼마나 위로 휘거나 아래로 휘는가?)

"헤시안 = 함수의 지형이 얼마나 휘어져 있는지를 나타내는 지도"
특히 다변수일 때 방향에 따라 휘는 정도가 다를 수 있는데, 그걸 다 담아내는 게 헤시안임.