SHAP(SHapley Additive Explanations)

가을·2026년 3월 12일

학습된 모델의 예측 근거를 시각화하기 위해 사용
A. 영향력 파악: 어떤 변수가 예측값 결정에 가장 크게 기여했는가?
B. 방향성 확인: 해당 변수가 예측값을 높이는 방향(+)으로 작용했나, 낮추는 방향(-)으로 작용했나?

SHAP은 각 특성(Feature) $i$ 의 기여도인 $\phi_i$ 을 다음과 같이 계산

$\phi_i(f, x) = \sum_{S \subseteq N \setminus \{i\}} \frac{|S|!(M-|S|-1)!}{M!} [f(S \cup \{i\}) - f(S)]$

$M$ : 전체 특성 개수
$S$ : 특성 $i$ 를 제외한 모든 특성 조합
$f(S \cup \{i\}) - f(S)$ : 특성 $i$ 가 추가됨에 따른 한계 기여도(Marginal Contribution)

평균적 기여도: 특성 $i$ 가 포함될 수 있는 모든 경우의 수( $S$ )에 대해, 해당 특성이 있고 없음에 따른 예측값의 변화량을 가중 평균한 값
예측값의 분해: 실제 예측값과 전체 평균값의 차이를 각 변수의 SHAP 값 합으로 정확히 설명할 수 있음

(가산성) $f(x) = E[f(X)] + \sum_{i=1}^{M} \phi_i$ 요약하자면: SHAP 값이 +1.0이라는 것은, 해당 변수의 데이터가 모델에 입력됨으로써 평균적인 예측치보다 결과값을 1.0점 높게 수정했다 의미