Explanation Bottleneck Models 논문 리뷰

Abstract
최근 concept-based interpretable model들은 pre-defined concept set을 이용해 의미 있는 설명을 제공하는 데 성공해왔다. 하지만 pre-defined concept에 의존하기 때문에 설명에 사용할 수 있는 concept의 수가 제한되며, 이는 모델의 적용 범위를 제한한다.

본 논문에서는 Explanation Bottleneck Models (XBMs)라고 하는 새로운 interpretable deep neural network를 제안한다. XBM은 pre-defined concept 없이 입력으로부터 text explanation을 생성하고, pre-trained vision-language encoder-decoder model을 활용하여 생성된 explanation을 기반으로 최종 task prediction을 수행한다.

Target task performance와 explanation quality를 모두 확보하기 위해, 우리는 frozen pre-trained decoder로부터의 distillation을 이용해 explanation decoder에 penalty를 부여하는 regularization과 함께 target task loss를 사용하여 XBM을 학습한다.

State-of-the-art concept bottleneck model과의 비교를 포함한 실험 결과, XBM은 pre-defined concept set 없이도 정확하고 유창한 natural language explanation을 제공할 수 있음을 확인하였다.

Introduction
Deep learning model은 다양한 application에서 뛰어난 성능을 달성할 수 있지만, black-box라는 문제가 있다. 즉, 모델의 output prediction을 사람이 해석하기 어렵다. Deep model의 output을 해석하기 위한 유망한 접근법 중 하나가 Concept Bottleneck Models 이다. Input으로부터 output label을 end-to-end 방식으로 직접 예측하는 black-box model과 달리, CBM은 먼저 input으로부터 concept label을 예측하고, 그다음 예측된 concept를 기반으로 최종 target class label을 예측한다. 예측된 concept는 input의 semantic한 구성 요소를 나타내기 때문에, 이러한 two-stage prediction을 통해 사용자는 최종 target label이 예측된 이유를 알 수 있으며, healthcare와 같은 중요한 application에서는 의사결정 과정에 interactive하게 개입할 수도 있다.

하지만 기존 CBM은 최종 label을 예측하기 위해 고정된 pre-defined concept set에 의존한다. 다시 말해, 미리 정의된 concept 이외의 정보에 대해서는 interpretability를 제공할 수 없다. 우리는 이러한 한계가 interpretable deep model을 구현하는 데 있어 CBM이 가지는 근본적인 문제라고 본다.

최근에는 pre-trained large language model을 활용한 CBM 변형들을 통해 임의의 target class에 대한 concept를 표현할 수 있게 되었지만, interpretability는 여전히 고정된 소수의 concept로 제한된다. 이는 많은 수의 concept label이 long-tail distribution으로 인해 학습하기 어렵고, 인간의 인지 능력에도 한계가 있어 많은 concept를 해석하기 어렵기 때문이다. 실제로 기존 연구에서는 performance와 interpretability를 유지하기 위해 concept와 training image 사이의 similarity를 이용하여 concept를 filtering함으로써 concept의 수를 제한한다. 따라서 CBM이 pre-defined concept에 의존하는 한, 해석 가능한 concept의 수가 제한되며 deep model의 output을 충분히 설명하기 어렵다.

본 논문에서는 pre-defined concept set을 가정하지 않고 interpretable deep neural network를 구축하는 문제를 다룬다. 이를 위해 우리는 Explanation Bottleneck Models (XBMs)라고 하는 새로운 interpretable model 계열을 제안한다. XBM은 input data로부터 text description을 생성할 수 있는 pre-trained multi-modal encoder-decoder model(예: BLIP)을 활용한다. Pre-trained multi-modal encoder-decoder를 활용하면 pre-defined concept set에 한정되지 않고, 실제로 input에 나타난 concept를 포착할 수 있다.

우리의 핵심 아이디어는 input에서 concept를 text explanation 형태로 decode한 다음, 이 decoded explanation을 입력으로 받는 classifier를 이용하여 최종 label을 예측하는 것이다.

Pre-defined concept를 기반으로 prediction을 수행하는 CBM과 달리, XBM은 decoded explanation을 통해 실제로 input data에 나타난 concept를 기반으로 prediction을 수행한다. 따라서 input과 직접 연결된 형태로 최종 prediction을 직관적으로 해석할 수 있다. End-to-end training을 통해 XBM은 target task를 해결하는 데 유용한 textual feature에 초점을 맞춘 explanation을 생성하는 것을 목표로 한다.

XBM의 주요한 문제 중 하나는 target task를 학습하는 과정에서 text generation capability를 잊어버릴 수 있다는 것이다. Target dataset에는 일반적으로 ground-truth text label이 존재하지 않기 때문에 catastrophic forgetting을 방지하기 어렵다. High-quality explanation을 생성하기 위해 우리는 explanation distillation이라는 training technique을 도입한다. Explanation distillation은 frozen pre-trained text decoder가 생성한 reference explanation을 이용해 text decoder에 penalty를 부여한다. Explanation distillation과 함께 target task를 학습함으로써 XBM은 text generation capability가 무너지는 것을 방지하면서 input data로부터 자연스러운 문장 형태의 explanation을 생성할 수 있다.

우리는 여러 dataset에서 XBM을 기존 CBM 및 black-box baseline과 비교하여 interpretability와 target task performance를 평가한다. 실험 결과, XBM은 기존 CBM의 pre-defined concept보다 input과 더 관련성 높은 explanation을 제공하면서도 black-box baseline과 경쟁력 있는 성능을 달성했으며, target test accuracy에서는 CBM을 크게 능가하였다. 또한 XBM을 학습하면 target-related vocabulary에 집중함으로써 backbone vision-language model의 multi-modal understanding capability를 향상시킬 수 있음을 보였다. 마지막으로 random text와 ground-truth explanation을 이용하여 explanation에 개입하는 실험을 통해 XBM explanation의 reliability와 practicality를 확인하였다.

Explanation Bottleneck Models
이 절에서는 Explanation Bottleneck Models (XBMs)의 기본 원리를 소개한다. XBM은 모델 스스로 생성한 explanation text를 기반으로 최종 label을 예측하는 interpretable deep learning model이다. 최종 예측 label이 input image에 대해 생성된 explanation을 기반으로 하기 때문에, 우리는 자연스럽게 이 explanation을 XBM의 prediction에 대한 이유로 해석할 수 있다.

위는 XBM의 training 과정을 전체적으로 보여준다. XBM은 visual encoder $h_\psi$, explanation decoder $g_\phi$, 그리고 최종 target label을 예측하는 classifier $f_\theta$로 구성된다. 이 중 $h_\psi$와 $g_\phi$는 BLIP과 같은 임의의 pre-trained multi-modal encoder-decoder를 이용하여 initialize된다.

$f_\theta$는 generated explanation을 input으로 받으며, image embedding을 이용하여 cross-attention layer를 condition하는 Transformer 기반의 multi-modal classifier이다. 이러한 design은 predicted concept에 포함되지 않은 정보를 input embedding을 통해 보완하는 hybrid post-hoc CBM에서 영감을 받았다.

Section 3.4에서는 text classifier를 사용할 때의 practicality 역시 확인한다. 이 section에서는 주로 multi-modal classifier를 사용하는 XBM을 설명한다.

XBM은 target classification loss를 통해 end-to-end 방식으로 training된다. 하지만 naïve training을 수행하면 generated text explanation이 collapse되므로, 이를 방지하기 위해 explanation distillation을 사용한다. Explanation distillation은 frozen pre-trained text decoder $g_{\phi_p}$가 생성한 reference text를 이용하여 explanation decoder에 penalty를 부여하며, 이를 통해 decoder가 기존의 text generation capability를 잊지 않도록 한다.

ⓐ Problem Setting
우리는 target task로 $K$-class image classification task를 고려한다.

Labeled target dataset

$D=\{(x^i,y^i)\in\mathcal{X}\times\mathcal{Y}\}_{i=1}^{N}$

에서 다음 neural network model을 학습한다.

$h_\psi:\mathcal{X}\rightarrow\mathbb{R}^{d_X}$

$g_\phi:\mathbb{R}^{d_X}\rightarrow\mathcal{E}$

$f_\theta:(\mathbb{R}^{d_X},\mathcal{E})\rightarrow\mathcal{Y}$

여기서 $\mathcal{X}$, $\mathcal{E}$, $\mathcal{Y}$는 각각 input space, text explanation space, output label space를 의미한다.

Text explanation space는 vocabulary $V$를 사용하는 길이 $L$의 token sequence로 구성된다.

$\mathcal{E}=V^L$

$h_\psi$는 input $x$를 $d_X$-dimensional space로 embedding하는 vision encoder이다.

$g_\phi$는 input embedding $h_\psi(x)$로부터 text explanation $e\in\mathcal{E}$를 생성하는 auto-regressive text decoder이다.

그리고 $f_\theta$는 최종 target task label $y$를 예측하는 classifier이다.

우리는 $h_\psi$와 $g_\phi$가 각각 pre-trained multi-modal model의 parameter $\psi_p$와 $\phi_p$로 initialize된다고 가정한다. 이러한 parameter는 BLIP이나 LLaVA와 같은 방법을 통해 large-scale text-image paired dataset에서 pre-training된 것이다.

중요한 점은 $g_\phi$를 training하기 위해 target dataset $D$에 다음과 같은 ground-truth text explanation set이 존재한다고 가정하지 않는다는 것이다.

$\{e^i\}_{i=1}^{N}$

이 setting은 Concept Bottleneck Models과 유사하다. CBM에서는 $e$ 대신 input $x$로부터 decode된 concept 집합

$\{c^j\in C\}_{j=1}^{M}$

을 이용해 최종 label $y$를 예측한다.

가장 큰 차이는 pre-defined concept set에 대한 가정이다.

XBM의 setting에서는 explanation에 사용할 단어나 phrase를 명시적으로 지정하지 않는다. 반면 CBM은 pre-defined concept set $\{c^j\}$에 포함된 단어나 phrase를 기반으로 model output을 설명한다.

ⓑ Objective Function

XBM은 interpretable explanation을 제공하면서 동시에 높은 target classification accuracy를 달성하는 것을 목표로 한다.

이를 위해 XBM은 regularization term이 포함된 다음 objective function을 optimize한다.

$\min_{\theta,\phi,\psi}\mathcal{L}_{cls}(\theta,\phi,\psi)+\lambda\mathcal{R}_{int}(\phi,\psi)$

Classification loss는 다음과 같다.

$\mathcal{L}_{cls}(\theta,\phi,\psi)=\mathbb{E}_{(x,y)\in D}\ell_{CE}(f_\theta\circ g_\phi\circ h_\psi(x),y)$

여기서 $\mathcal{R}_{int}(\cdot)$는 $g_\phi$가 생성하는 explanation의 fluency를 보장하기 위한 regularization term이다.

$\lambda$는 $\mathcal{L}_{cls}$와 $\mathcal{R}_{int}$의 균형을 조절하는 hyperparameter이고, $\ell_{CE}$는 cross-entropy loss이다.

이 objective를 통해 text decoder $g_\phi$는 $\mathcal{L}_{cls}$를 최소화하는 데 유용한 textual feature에 집중하도록 training되면서, 동시에 $\mathcal{R}_{int}$를 통해 interpretability를 유지한다.

저자들은 $\mathcal{R}_{int}$가 없으면 $g_\phi$의 output이 쉽게 collapse한다는 것을 확인하였다. 따라서 XBM을 training할 때 $\mathcal{R}_{int}$를 어떻게 설계하는지가 중요하다.

하지만 실제 target dataset $D$에는 일반적으로 ground-truth explanation set이 존재하지 않는다. 따라서 supervised loss를 $\mathcal{R}_{int}$로 사용하여 $g_\phi$에 직접 penalty를 부여할 수 없다.

이 문제를 해결하기 위해 다음 section에서는 pre-trained text decoder를 이용한 distillation-based approach를 소개한다.

ⓒ Explanation Distillation
XBM은 pre-trained multi-modal model을 text(explanation) decoder $g_\phi$의 initial parameter로 사용한다.

Auto-regressive sequence model인 pre-trained text decoder $g_{\phi_p}$는 다음 conditional distribution $q(e|x)$를 학습할 수 있다.

$q(e|x)=\prod_{l=1}^{L}q(e_l|x,e_{<l})$

여기서 $L$은 maximum token length이고, $e_l$은 $l$번째 token이며, $e_{<l}$은 $e_l$ 이전까지의 text sequence이다.

$g_{\phi_p}$는 large-scale text-image pair로 training되었기 때문에, $q(e|x)$는 다양한 input $x$에 포함된 중요한 정보를 설명하는 token sequence를 생성할 수 있을 것으로 기대된다.

저자들의 핵심 아이디어는 $q(e|x)$를 generated explanation

$\hat{e}\sim p_\phi(e|x)$

의 interpretability를 유지하기 위한 reference distribution으로 사용하는 것이다. 여기서 $p_\phi(e|x)$는 $g_\phi$의 model distribution이다.

만약 $p_\phi(e|x)$와 $q(e|x)$가 충분히 가깝다면, $p_\phi(e|x)$로 생성된 sequence의 interpretability 역시 $q(e|x)$로 생성된 sequence의 interpretability와 비슷하게 유지된다고 볼 수 있다.

구체적으로 regularization term $\mathcal{R}_{int}$로 $p_\phi(e|x)$와 $q(e|x)$ 사이의 KL divergence를 계산한다.

$\mathcal{R}_{int}(\phi,\psi)=D_{KL}(q\Vert p_\phi)$

$=\sum_{e\in\mathcal{E}}q(e|x)\log\left(\frac{q(e|x)}{p_\phi(e|x)}\right)$

$=\mathbb{E}_{e\sim q(e|x)}\log\left(\frac{q(e|x)}{p_\phi(e|x)}\right)$

그러나 $D_{KL}(q\Vert p_\phi)$를 직접 계산하는 것은 computationally intractable하다.

그 이유는 $\mathcal{E}=V^L$ 전체에 대해 $q(e|x)$로부터 여러 번 sequential sampling을 수행해야 하며, 동시에 $p_\phi(e_l|x,e_{<l})$의 모든 sampling process를 거쳐 back-propagation을 수행해야 하기 때문이다.

이를 approximate하기 위해 저자들은 knowledge distillation과의 연관성에 주목한다.

즉, 이를 minimize하는 것은 $g_{\phi_p}$에서 $g_\phi$로 knowledge distillation을 수행하는 것으로 볼 수 있다.

따라서 다음과 같이 approximate한다.

$\mathcal{R}_{int}(\phi,\psi)\approx-\sum_{e\in\mathcal{E}}I_{e=e_p}\log p_\phi(e|x)=-\log p_\phi(e=e_p|x)$

여기서 $e_p$는 $q(e|x)$로부터 sampling된 sample이고, $I$는 $e=e_p$이면 1을 반환하고 그렇지 않으면 0을 반환하는 indicator function이다. 단순화를 위해 approximation 과정에서 constant term은 생략한다.

구체적인 procedure는 먼저 $g_{\phi_p}$를 이용해 $e_p$를 생성하는 것이다.

그다음 next-token prediction task에서 각 output token에 대해 cross-entropy loss를 적용하여 $g_\phi$의 output logits에 penalty를 부여한다.

이 approximation technique은 neural machine translation 분야에서 sequence-level knowledge distillation로 잘 알려져 있으며, auto-regressive sequence model의 knowledge distillation에서도 잘 작동한다.

Sequence-level knowledge distillation은 $p$와 $q$의 mode를 matching하는 것에 해당하며, $q$의 entropy $H(q)$로 나타나는 uncertainty는 전달하지 않는다.

그럼에도 저자들은 이것이 XBM에는 충분하다고 본다. XBM의 목적은 pre-trained model을 완벽하게 복제하는 것이 아니라 target task prediction에 대해 interpretable explanation을 제공하는 것이기 때문이다.

저자들은 이 regularization을 explanation distillation이라고 부르며, text generation capability를 유지하기 위해 XBM training에 이를 도입한다.

ⓓ Algorithm

① Training
Training loop에서는 먼저 generate(·)와 g_sampling(·)을 이용하여 각각 reference explanation $e_p$와 predicted explanation $\hat{e}$를 생성한다.

$q(e|x)$의 mode를 approximate하고 reference의 quality를 보장하기 위해, 이전 연구를 따라 frozen $g_{\phi_p}$에서 beam search를 사용하여 $e_p$를 생성한다.

반면 $\hat{e}$를 sampling할 때는 end-to-end training에서 back-propagation을 가능하게 하기 위해 computation graph를 유지할 필요가 있다. 이를 위해 Gumbel-softmax trick을 사용한다.

$l$번째 token은 다음과 같이 approximately sampling된다.

$e_l=\operatorname{softmax}\left((\log(g_\phi(h_\psi(x)))+g)/\tau\right)$

여기서

$g=\{g_1,\ldots,g_{|V|}\}$

는 길이 $|V|$의 vector이며, 각각의 element는 $\operatorname{Gumbel}(0,1)$에서 sampling된다. $\tau$는 temperature parameter이다.

직관적으로 temperature $\tau$는 $g_\phi$에서 출력되는 token의 diversity를 조절한다. 더 큰 $\tau$는 더욱 다양한 output을 생성하도록 한다.

Input을 설명하는 다양하면서도 정확한 token을 얻기 위해, training step에 따라 temperature에 exponential annealing을 적용한다.

$\tau^{(i+1)}=\tau^{(0)}\exp(-r_ai)$

여기서 $i$와 $r_a$는 각각 training step과 annealing rate이다.

이를 통해 XBM은 training 초기에는 output token의 diversity에 집중하고, training 후반에는 output token의 quality에 집중할 수 있다. 이 design choice는 Appendix E.1에서 평가한다.

$e_p$와 $\hat{e}$를 sampling한 이후에는 objective function에 따라 모든 trainable parameter를 update한다.

② Inference
Test input $x$에 대한 inference에서는 Gumbel-softmax trick 대신 beam search를 이용하여 $\hat{e}$를 생성한다.

$\hat{e}\leftarrow\operatorname{generate}(g_\phi,h_\psi(x))$

마지막으로 target label prediction

$\hat{y}\leftarrow f_\theta(h_\psi(x),\hat{e})$

과 explanation $\hat{e}$를 사용자에게 반환한다.

추가적으로 XBM은 $\hat{e}$뿐만 아니라 Figure 3에 나타난 다른 형태의 explanation도 제공할 수 있다.

Concept phrase $c$는 $\hat{e}$를 구성하는 noun phrase이며, natural language parser를 이용하여 자동으로 추출할 수 있다.

CBM의 concept output과 유사하게, $c$는 text explanation에 존재하는 noun phrase가 prediction에 얼마나 기여했는지를 보여준다.

예를 들어 classifier $f_\theta$가 attention layer를 포함하는 Transformer 계열로 구현된 경우, Figure 3(ii)와 같이 self-attention score를 통해 각 $c$가 target prediction $\hat{y}$에 얼마나 기여했는지 해석할 수 있다.

또한 text explanation과 visual token 사이의 cross-attention score를 heatmap으로 visualization할 수 있다. 이를 통해 model이 input data의 어떤 부분을 concept로 인식하는지를 확인할 수 있다.

Experiment

ⓑ Design Evaluation of XBMs

① Quantitative Evaluation
Table은 네 가지 target dataset에서 XBM-BLIP의 quantitative performance와 interpretability를 보여준다. Target performance 측면에서 XBM은 Label-free CBM baseline보다 높은 성능을 보였으며, test accuracy에서 black-box baseline과 competitive한 performance를 달성하였다.

특히 Label-free CBM이 좋은 성능을 보이지 못한 Aircraft와 Car dataset에서 XBM은 높은 성능을 달성하였다. 이는 ConceptNet과 GPT-3가 해당 dataset의 object를 설명하기 위한 vocabulary가 제한되어 있기 때문에 pre-defined concept가 충분하지 않기 때문일 수 있다. 반면 XBM은 explanation decoder를 training하여 target dataset에 유용한 임의의 object를 제한되지 않은 vocabulary로 설명하도록 만들기 때문에 multi-modal understanding을 향상시킨다.

Interpretability 측면에서도 XBM은 CBM보다 높은 CLIP-Score를 달성하였다. 이는 XBM의 explanation이 pre-defined concept set에 속한 CBM의 concept output보다 input image의 실제 내용에 더 충실하다(factual)는 것을 의미한다.

또한 Table 1 아래쪽의 ablation study는 Eq. (1)의 objective function이 의도한 대로 효과적으로 작동한다는 것을 보여준다.

고정된 pre-trained BLIP을 그대로 이용하여 text caption을 생성하는 Frozen BLIP baseline과 비교하면, XBM은

test accuracy
CLIP-Score
GPT-2 Perplexity

모두에서 크게 향상되었다. 이는 target task에 맞게 text decoder를 optimize하면 generated explanation이 task를 해결하는 데 informative하고 target-related한 내용을 포함하도록 유도된다는 것을 의미한다.

또한 explanation distillation의 regularization term $R_{int}$가 meaningful explanation을 생성하는 데 중요하다는 것도 확인하였다. $R_{int}$를 제거한 XBM w/o $R_{int}$는 CLIP-Score와 GPT-2 Perplexity가 심각하게 악화되었다.

② Qualitative Evaluation
Table 2는 XBM이 생성한 explanation에 대한 qualitative evaluation을 보여준다. Self-attention 및 cross-attention score는 Transformer의 middle layer에서 계산하였다. 비교를 위해 다음 결과도 함께 제시하였다.

CBM의 top-3 concept output
pre-trained BLIP의 generated caption, 즉 XBM의 initial state

XBM의 text explanation은 pre-trained BLIP보다 더 상세한 정보를 포함한다. 그 이유는 target classification loss $L_{cls}$가 text decoder로 하여금 task를 해결하는 데 필요한 target-related visual information을 설명하도록 강제하기 때문이다.

특히 explanation distillation $R_{int}$가 없는 XBM은 완전히 망가진 explanation을 생성한다. 이는 XBM의 objective function이 explanation을 collapse시키지 않으면서 target task와 관련된 token에 model이 집중하도록 성공적으로 training한다는 것을 보여준다.

한편 concept phrase explanation은 text explanation 안의 각 noun phrase가 최종 output에 얼마나 기여하는지를 self-attention score로 보여준다. CBM의 concept와 달리 XBM의 concept phrase는 pre-defined knowledge로 input을 설명하기보다는 input image에 실제로 나타나는 visual feature와 align되는 경향을 보인다. 따라서 사람이 model output을 해석하기 더 쉽다.

마지막으로 cross-attention heatmap은 generated text explanation이 input image의 어느 부분에 대응하는지를 직관적으로 localization한다. Section 3.5에서는 optimization을 수행하면서 heatmap이 object에 더욱 집중하며, model의 multi-modal understanding이 향상된다는 것을 확인한다.

저자들은 또한 training 과정에서 generated explanation이 어떻게 변화하는지 Figure 4에서 분석한다. Epoch 0, 20, 40에서 XBM의 text explanation과 전체 class 및 input class에 대한 top-10 word occurrence를 출력하였다. Training epoch가 진행됨에 따라 explanation과 사용되는 word가 점점 더 세부적이고 target-related한 image information에 집중한다. 구체적으로 Figure 4의 California Gull example에서는 XBM이 California Gull의 중요한 특징인 “yellow beak (mouth)”를 설명하도록 optimize된다. 이는 XBM이 사람이 이해할 수 있는 interpretable하고 useful한 explanation을 제공할 수 있음을 보여준다.

ⓒ XBMs with Large Vision-Language Models
여기서는 BLIP보다 더 큰 vision-language model과 XBM을 결합하여 XBM의 scalability와 practicality를 평가한다. BLIP 대신 다양한 language model backbone을 사용하는 LLaVA model을 사용하였다.

Table 3은 XBM에 high-performance vision-language model을 사용하면 performance와 interpretability score 모두 향상된다는 것을 보여준다.

이는 massive image-text pair로 pre-training된 large vision-language model을 사용하더라도, XBM의 objective function이 model의 multi-modal understanding ability를 추가로 향상시킬 수 있음을 의미한다. 또한 이는 XBM이 특정 vision-language architecture에 묶여 있지 않고 임의의 vision-language model로 구성될 수 있는 flexible한 framework임을 강조한다.

ⓓ XBMs with Text Classifier
Table 3에서는 최종 prediction에 text information만 사용하는 text classifier $f_\theta(\hat{e})$를 사용하는 XBM도 평가한다. XBM-BLIP에서 $f_\theta(\hat{e})$만 사용하면 multi-modal classifier $f_\theta(h_\psi(x),\hat{e})$를 사용하는 경우보다 performance가 감소한다. 하지만 backbone을 BLIP에서 LLaVA로 변경하면 이 performance gap이 해소된다.

이는 더 sophisticated한 vision-language model을 사용할수록 XBM이 더 informative한 text explanation을 생성하며, input feature $h_\psi(x)$를 최종 classifier에서 사용하지 않더라도 practical한 performance를 달성할 수 있다는 것을 의미한다.

ⓔ Evaluations of Cross-Attention Heatmap
XBM의 cross-attention heatmap explanation은 classifier에서 text explanation과 관련된 local input region을 visualization한다. XBM이 실제로 multi-modal understanding을 향상시키는지 평가하기 위해, Chefer, Gur, and Wolf (2021)와 Gandelsman, Efros, and Steinhardt (2024)를 따라 generated heatmap을 ImageNet segmentation task에서 평가하였다.

구체적으로 ImageNet Segmentation test set에서 heatmap을 생성하고 ground-truth segmentation mask와 비교하여 다음 metric을 계산하였다.

Pixel Accuracy
mean IoU (mIoU)
mean Average Precision (mAP)

이 evaluation을 통해 heatmap이 pixel space에서 target class object를 얼마나 잘 포함하고 있는지 평가할 수 있다. Table 4의 결과를 보면 Frozen BLIP과 비교하여 XBM-BLIP이 모든 segmentation metric을 향상시켰다.

이는 XBM의 training objective가 model로 하여금 target class object를 더 잘 이해하도록 하여 multi-modal understanding을 향상시킨다는 것을 의미한다.

ⓕ Reliability Evaluation via Human Intervention
CBM은 사람이 predicted concept에 개입함으로써 model behavior를 debugging할 수 있다. 마찬가지로 XBM에서도 generated explanation에 사람이 개입함으로써 model behavior를 debugging할 수 있다.

여기서는 explanation quality가 최종 classification result에 어떤 영향을 미치는지 확인하기 위해, inference 시 explanation decoder가 생성한 explanation을 다른 explanation으로 완전히 교체하는 experiment를 수행한다. 두 가지 intervention을 평가하였다.

① Randomized explanation
원래 generated explanation과 동일한 길이를 유지하면서 vocabulary space에서 token을 uniformly random sampling하여 만든 sequence를 사용한다.

② Ground-truth explanation
Bird dataset에 대해 Reed et al. (2016)이 제공한 extended annotation set의 ground-truth explanation을 사용한다.

Table 5는 intervention을 적용한 XBM-BLIP의 performance를 보여준다. Generated explanation을 randomized explanation으로 교체하면 XBM-BLIP의 performance가 크게 감소한다. 이는 generated explanation이 높은 classification performance를 달성하는 데 essential한 역할을 한다는 것을 의미한다. 반대로 ground-truth explanation으로 교체하면 performance가 크게 향상된다. 이는 더 높은 quality의 explanation이 더 높은 **
XBM의 한계 중 하나는 CBM과 달리 user-defined concept에 기반한 explanation을 생성할 수 없다는 점이다.

다시 말해, XBM은 language model backbone 덕분에 일반적인 vocabulary를 사용해 output을 유창하게 설명하는 데는 강점이 있지만, expert knowledge에 기반하여 미리 정해진 fixed concept에 대한 interpretation을 제공하는 데는 어려움이 있다.

앞으로의 유망한 연구 방향은 이러한 fluent explanation을 user-defined concept와 연결하는 것이다.performance로 이어질 수 있으며, human explanation으로 intervention하는 것이 XBM의 performance를 개선하는 데 도움이 될 수 있음을 의미한다. 즉, XBM의 최종 prediction은 generated explanation $\hat{e}$의 내용에 크게 의존한다.

따라서 $\hat{e}$는 단순히 prediction 뒤에 붙이는 보여주기용 caption이 아니라 최종 prediction에 실제로 영향을 미치는 reliable explanation이라고 볼 수 있다. 이러한 결과는 XBM의 debuggability와 generated explanation의 reliability를 뒷받침한다.

Limitation
XBM의 한계 중 하나는 CBM과 달리 user-defined concept에 기반한 explanation을 생성할 수 없다는 점이다. 다시 말해, XBM은 language model backbone 덕분에 일반적인 vocabulary를 사용해 output을 유창하게 설명하는 데는 강점이 있지만, expert knowledge에 기반하여 미리 정해진 fixed concept에 대한 interpretation을 제공하는 데는 어려움이 있다. 앞으로의 유망한 연구 방향은 이러한 fluent explanation을 user-defined concept와 연결하는 것이다.

Conclusion
본 논문에서는 Explanation Bottleneck Models (XBMs)라는 새로운 interpretable deep neural network를 제안하였다. Pre-trained vision-language model을 활용함으로써, XBM은 input과 output에 대응하는 explanation을 다음과 같은 형태로 생성할 수 있다.

natural language description
contribution score가 포함된 concept phrase
input space에 대한 cross-attention heatmap

Target task performance와 explanation quality를 모두 확보하기 위해, XBM은 target task loss와 explanation distillation을 함께 사용하여 optimize된다. Explanation distillation은 training 중인 text decoder와 pre-trained text decoder의 output distribution 사이의 차이에 penalty를 부여함으로써, text decoder가 기존의 language generation capability를 잃지 않도록 한다.

실험 결과, XBM은 높은 target task performance와 정확하고 유창한 explanation을 동시에 달성할 수 있음을 확인하였다. XBM은 black-box baseline과 competitive한 performance를 보였으며, target test accuracy에서는 CBM을 크게 outperform하였다. 또한 massive image-text pair로 pre-training된 large vision-language model을 사용하는 경우에도, XBM training이 backbone vision-language model의 multi-modal understanding capability를 향상시킬 수 있음을 확인하였다.

저자들은 이 연구가 natural language explanation에 대한 새로운 관점을 제시하며, interpretable deep model 연구를 새로운 paradigm으로 발전시키는 데 기여할 수 있을 것으로 기대한다.