🔮 A Unified Approach to Iterpreting Model Predictions

ABSTRACT

모델이 왜 해당 prediction을 만드는지 이해하는 것은 매우 중요함. 그러나 Ensemble 또는 딥러닝처럼 복잡도가 높은 모델은 해석하기가 어려운 경우가 대다수임. 따라서 본 논문은 SHAP(SHapely Additive exPlanations) 분석을 제안함. SHAP은 각 feature에 대한 importance 값을 부여함. 기존에 존재했던 6가지 방법론을 통일함으로서 새로운 부가적인 feature importance를 가진 클래스를 확인함. 직관적으로 와닿는 해당 방법론은 성능 측면과 지속성 측면에서도 뛰어난 결과를 보임.

1. INTRODUCTION

• 단순한 모델은 해석하는데 무리가 없으나, 복잡한 모델일수록 직관적인 이해가 어려워짐. 따라서 accuracy와 interpretbility에 trade-off가 존재함.

따라서 해당 논문은:
1) Explanation model: 모델의 prediction에 대한 어떤 설명도 모델 그 자체로 보는 관점을 제안함. 또한, 해당 접근은 additive feature attribution method라는 클래스를 정의하게 됨.
2) 게임 이론 결과: additive feature attribution method의 전체 클래스가 unique한 솔루션이 있음을 보장함. SHAP value라는 값으로 통합된 feature importance를 표현함.
3) SHAP value 추정 방법: 이미 존재하는 방법보다 더 직관적이라는 것을 비교함.

2. ADDITIVE FEATURE ATTRIBUTION METHODS

• 모델의 prediction을 이해하는 가장 좋은 방법은 '모델 그 자체를 이해'하는 것이나 ensemble이나 딥러닝 수준의 모델은 그 자체로 이해가 어렵다는 한계가 있음.

=> 원래 모델의 해석 가능한 근사치로 정의하는 더 간단한 Explanation Model 사용.

• Additive Feature Attribution Method: 이진 variable의 선형 function 형태의 모델

파이들이 각 feature에 영향을 주고, 이 값들을 모두 더한 것의 근사값이 original 모델의 f(x)라는 가정을 둔 모델임.

2.1 LIME

• LIME 방법론은 각 모델의 prediction을 지역적 근사를 사용하여 해석함.
  => Additive Feature Attribution Method와 동일함. 마찬가지로 파이값을 구하기 위해 아래의 함수의 argmin을 구함.

2.2, 2.3 DeepLIFT와 Layer-Wise Relevance Propagation

• 딥러닝을 위한 Recursive prediction explanation method으로, 'summation to delta' 성질을 사용하여 feature에 대한 reference 값을 제공함. 이 또한 Additive Feature Attribution Method와 동일함.
• Layer wise relevance propagation 방법은 deep network를 위한 prediction을 해석함. DeepLIFT에서 모든 뉴런의 refernce 활성화를 0으로 처리한 상태와 동일함.

2.4 Classic Shapley Value Estimation

• Shapley regression value: 선형 회귀에서의 feature importance값임. 각 feature에 importance value를 할당하고, 그 영향을 계산하기 위해 해당 feauture가 있을 때와 없을 때를 각각 학습하여 비교함.

• 파이를 계산하는 위의 수식에서 오른쪽 차이 값이 해당 feature가 있을 때와 없을 때의 비교값임.
  +) 해당 비교값을 weighted average값을 부여하여 모두 더한 것이 파이값.

3. SIMPLE PROPERTIES UNIQUELY DETERMINE ADDITIVE FEATURE ATTRIBUTIONS

• Additive feature attribution method의 주목할 점: 아래의 세 가지 속성을 모두 만족하는 고유한(단 하나의) 해가 존재한다는 것임.
  => 2.4의 Classic Shapley에서는 알려졌었지만 2.1 ~ 2.3에서는 밝혀지지 않았음.

PROPERTY 01. Local Accuracy

• Original 모델 f를 input x값에 대해 근사할 때, local accuracy는 x'(단순화된 input x값)에 대해서 최소한 결과값을 Original 모델과 동일하도록 맞추는 것임.

x = hx(x')일 경우 g(x'), 즉 추정값이 f(x), Original과 동일함.

PROPERTY 02. Missingness

• x' = 0인 값에 대해서는 파이를 0으로 하여 attributed impact가 없도록 제한함.

PROPERTY 03. Consistency

• z'에 대해 Original 값과, 단순화한 z'의 output값이 동일함을 가정하고, zi' = 0일 경우를 z'\ 라고 설정하였을 때, f' 모델의 두 값에 대한 차가 f 모델의 두 값에 대한 차보다 크면, f'의 파이 값이 f의 파이 값보다 큼.

4. THEOREM 01

• 1~3번 성질에 대해 단 하나의 가능한 additive feature attribution method가 있음을 나타냄. 이 결과는 Shapley value를 바탕으로 두지 않는 다른 방법론들은 local accuracy와 consistency를 위반함을 알 수 있음.

=> 결론은 해당 Additive feature attribution method가 이 두 가지 요소를 violate함으로 classic shapley method쪽을 더 발전시켜야 한다는 것

4. SHAP Values

• 통합된 Feature importance로 해당 SHAP value를 제안함. SHAP 값은 단 하나의 additive feature importance measure를, 성질 1~3을 위반하지 않고 제공할 수 있음.
• 정확한 SHAP 값을 측정하는 것은 매우 복잡하여 해당 값을 근사함.

1) Shapley Sampling Value
2) Max SHAP, Deep SHAP

=> 해당 방법론을 적용하여 단순화하기 위해서는 feauture 독립성과 모델의 선형성을 가정해야 함.

Max SHAP

• 각 input 값이 얼마나 maximum value를 증가시키는지에 대한 확률을 Shapley value를 이용하여 구할 수 있음.

Deep SHAP

• Deep LIFT와 Shapley Value를 함께 사용한 것으로, Deep LIFT는 SHAP value를 input feature들이 서로 독립적이며, deep model이 선형적이라는 가정하에 근사함.
  +) Deep LIFT가 local accuracy와 missingness를 만족하는 방법론이므로 consistency만 만족한다면 해당 Shapley value가 고유한 attribution을 나타낼 수 있음.

5. COMPUTATIONAL AND USER STUDY EXPERIMENTS

• Computational 효율성: Kernal SHAP을 통해 더 정확한 근사를 더 적은 비교를 통해서 가능해짐. 실험 결과 local accuracy와 consistency를 만족하는 SHAP value에 따라서 Kernel SHAP과 LIME의 효율성의 차이가 극명해짐.

• 설명 직관성: 좋은 모델 = 설명의 일관성이라는 가정하에 testing을 진행함. Sickness Score, Max allocation을 통해 실험 참가자들에게 input값에 대한 credit을 부여하라고 실험을 진행함. SHAP 분석의 결과값이 참가자들의 직관과 가장 부합하였음.

6. CONCLUSION

• SHAP은 모델 prediction의 accuracy과 interpretibility 간의 trade-off를 해소하기 위해 개발된 메소드를 제시하며, 여러 기존 방법을 포함하는 이상적인 솔루션을 제시함. 앞으로는 더 빠르고 모델 유형에 특화된 SHAP 값 추정 방법을 개발하고, 새로운 해석 모델 클래스를 정의하는 것을 목표로 함.

---

** 꼭지: 해당 분석이 블랙박스였던 AI를 설명하기 위한 좋은 인사이트가 되어 줄 수 있을 것 같아서 신기했음. 그러나 DNN 모델이나 Ensemble 모델을 설명하기 위해 input feature들이 모두 독립이며, 선형적이라는 가정하에 분석을 한다는 점이 조금 의아했음. 굉장히 복잡한 NN 모델이나 트랜스포머 모델 등에도 적용이 가능할지 궁금함.