Graphical LASSO

stat._.jun·2026년 2월 10일

Graphical LASSO는 다음의 식을 최소화하면서 풀어나가는 방법을 일컫는다. 모형이 Y1,…,Yn∼N(0,Σ)Y_1 ,\dots, Y_n \sim N (0, \Sigma)라고 할때, Precision Matrix Θ=Σ−1\Theta = \Sigma^{-1}를 찾는 문제를 푼다. S를 Sample Covariance matrix for Y라고 한다면, 우리의 문제는 아래와 같다.

minimize  log⁡(∣Θ∣)−tr(SΘ)−λ∥Θ∥1\textup{minimize} \; \log(|\Theta|) - \textup{tr}(S\Theta) - \lambda \| \Theta \|_1

다변량 정규분포의 로그가능도는 불필요한 계수와, 상수들을 모두 제외하면 아래와 같이 주어진다.

ℓn(Σ)∝−log⁡(∣Σ∣)−∑i∈[n]Yi⊤Σ−1Yi=log⁡(∣Θ∣)−tr(∑i∈[n]YiYi⊤Σ−1)=log⁡(∣Θ∣)−tr(SΘ)\begin{aligned} \ell_n(\Sigma) &\propto -\log(|\Sigma|)- \sum_{i \in [n]}Y_i^{\top}\Sigma^{-1}Y_i \\ &= \log(|\Theta|) - \textup{tr}( \sum_{i \in [n]}Y_i Y_i^{\top}\Sigma^{-1}) \\ &= \log(|\Theta|) - \textup{tr}(S \Theta) \end{aligned}

그래서 로그가능도에, Precision으로 정규화항을 준것으로 이해할 수 있다.

profile
stat._.jun
이전 포스트

Scheffe Test (쉐페 다중가설 검정)

다음 포스트

Generalized Least Squares (일반화최소제곱법, GLS)

0개의 댓글