[Statistics] Gibbs Entropy, Gibbs Distribution

ti_esti·2025년 3월 14일

Probability and Statistics algorithm bayesian machine learning

Statistics

목록 보기

1/4

1. 정의

Gibbs 분포는 특정 상태가 나타날 확률을 에너지 함수 E(x)에 따라 결정하는 확률분포이다. 확률변수 X가 특정한 상태 x를 가질 확률은 다음과 같이 정의된다.

{P(x) = \frac{e^{-\beta E(x)}}{Z}}

여기서 E(x)는 상태 x의 에너지 함수를 말하고, B(베타)는 온도의 역수, Z는 정규화 상수다.

Gibbs 분포는 특정 상태의 확률을 추론하고, 감소하는 지수형태꼴이므로 당연히 낮은 에너지를 가진 상태일수록 높은 확률을 가진다고 추정한다.

또, 온도 T가 매우 높을 때는 분자들이 아주 활발하게 움직이는 꼴처럼 모든 상태가 거의 균등한 확률을 가지게 된다.(완전히 무작위한 상태!) 반대로 온도가 매우 낮으면, 에너지가 낮은 상태의 확률은 매우 커지고, 에너지가 높은 상태에서의 확률은 거의 0이 된다. 즉, 최소 에너지를 가진(근접한) 상태가 거의 확실하게 선택된다. (조금 더 수식적으로 분석하기 위해서는 P(x_1) / P(x_2)에서 T-> infinity , T -> zero를 계산해보면 된다.)

직관적으로는 이해하려면 원래 수식의 목적이었던 분자 운동을 생각하면 된다. 커피에 설탕을 풀 때 온도가 뜨거우면 설탕 분자의 많은 에너지 상태가 거의 균등한 상태로 존재한다. 다만 얼음이 얼 때는 에너지가 최소인 특정 결정 구조로 정렬되는 방식으로 입자가 몰리게 된다.

해석은 이쯤하자. 응용은 Probabilistic Graphical Model 그리고 Bayesian Networks에 아주 기초가 된다.

2. Gibbs Distribution 유도

먼저 두 가지 원리/이론을 정리하자.

Gibbs Entropy

먼저 엔트로피이다. Boltzmann 엔트로피는 다음과 같다.

S = k_B \ln \Omega

여기서 k_B는 볼츠만 상수이고 Ω는 미시상태의 개수이다. 많은 미시상태를 가질수록 엔트로피가 증가한다. 이제 다음과 같은 과정을 통해 확률적 해석을 확장하자.

우선 각 미시 상태(x_i)가 나타날 확률이 동일하지 않을 수 있다. 따라서 각 미시 상태에 대한 확률을 다음처럼 쓸 수 있다.

P(x_i) = \frac{n_i}{N}

한편 모든 상태의 개수 $\Omega$ 는 다음처럼 쑬 수 있다.

\Omega = \frac{N}{n_i}

로그 성질을 이용해 대입한 후 변형하면,

S = k_{B}(\ln N - \ln n_i)

이제 확률적 평균을 취하면

S = k_{B} \sum_{i}{P(x_i)(\ln N - \ln n_i)}

S = k_B \left( \ln N \sum_{i} P(x_i) - \sum_{i} P(x_i) \ln n_i \right)

이제 $\sum_{i}P(x_i)=1$ 이므로

S = k_B \left( \ln N - \sum_{i} P(x_i) \ln n_i \right)

그리고 $\ln n_i = \ln P(x_i)+\ln N$ 이므로 그리고 분배법칙을 적용하면

S = -k_{B} \sum_{i}{P(x_i)\ln P(x_i)}

증명 끝!

자유 에너지 최소화 조건

시스템의 자유에너지 (Free Energy) F는 내부에너지 U와 온도 T, 엔트로피 S를 이용하여 정의된다. F = U - TS

여기서

U : 내부 에너지 = 상태에 대한 기대값 $U = \sum_{i} P(x)E(x)$
T : 절대온도
S : 엔트로피

시스템이 평형 상태에 있을 때, 자유에너지 F를 최소화하는 확률 분포 P(x)를 찾는 것이 목표이다.

라그랑주 승수법을 이용한 식 작성

이제 위 자유 에너지 최소화 조건을 엔트로피 표현을 다르게 쓰면 다음과 같다.

F=U-TS = \sum_{x}P(x)E(x) + k_{B}T \sum_{x}P(x) logP(x)

그리고 확률의 총합은 1이므로 다음과 같이 쓸 수 있다.

\sum_{x} P(x)=1

이 두 식을 해결하기 위해 라그랑주 승수법(Lagrange Multipliers)을 사용한다.

라그랑주 함수는 다음과 같이 정의된다. 여기서 $\lambda$ 는 라그랑주 승수이다.

\mathcal{L} = \sum_{x} P(x) E(x) + k_B T \sum_{x} P(x) \log P(x) + \lambda \left( \sum_{x} P(x) - 1 \right)

Gibbs Distribution 도출

이제 라그랑주 함수 $\mathcal{L}$ 을 $P(x)$ 에 대해 편미분하고 0이 되는 점을 찾으면,

\frac{\partial \mathcal{L}}{\partial P(x)} = E(x) + k_B T (1 + \log P(x)) + \lambda = 0

정리하면,

logP(x) = -\frac{E(x)}{k_BT}-1-\frac{\lambda}{k_BT}

양변에 지수를 취하면,

P(x)= e^{-\frac{E(x)}{k_BT}} e^{-(1+\frac{\lambda}{k_BT})}

여기서 정규화 상수 $\lambda$ 를 고려하여 위의 Z를 고입하면,

P(x) = \frac{e^{-\frac{E(x)}{k_BT}}}{Z}

원하던 Gibbs Distribution가 도출되었다.

ti_esti

KAIST Computational Neuroscience

다음 포스트