TCAV
cav(concept activation vectors)
신경망 계층의 활성화 공간에서 개념을 일반화하는 수치 표현이다.
C는 concept, l은 layer이다. 해당 활성화 공간에 줄무늬 개념 데이터와 줄무늬가 아닌 랜덤한 데이터가 있고 이를 학습을 통해 classification하는 벡터가 cav이다. 이때 f가 activation이다.
derectional derivatives
hk(x)는 data point x의 class k에 대한 logit이다.
saliency map에서는 ∂hk(x)/∂xa,b을 통해 class k에 대한 a,b위치의 민감도를 측정한다.
k에서 c에 대한 conceptual sensitivity는 cav와 derectional derivatives을 통해 민감도를 계산한다.
C는 concept(줄무늬), K는 class(얼룩말)이다.
클래스가 얼룩말인 줄무늬 개념의 tcav점수는 줄무늬 개념에 대하여 양의 값을 가지는 얼룩말 이미지 수를 얼룩말 이미지 총 수로 나눈것이다. 이 값이 0.8이면 얼룩말 예측의 80%가 줄무늬 개념을 중요한 특징으로 고려하였다는 의미이다.
참고자료
https://christophm.github.io/interpretable-ml-book/detecting-concepts.html
https://github.com/tensorflow/tcav/blob/master/Run_TCAV_on_colab.ipynb
ACE
알고리즘의 3가지 main요소:
A trained classification model, a set of test data points from the same classification task, and a importance computation procedure that assigns importance to features, pixels, concepts, and so forth
local explanation과 global explanation:
local은 모든 이미지의 모든 픽셀들에 점수를 할당하여 중요점을 추출하는것,
tcva는 global, 주어진 개념이 예측에 얼마나 중요한지를 판단
이 논문에서는 ace 모델, "ACE is a global explanation method that explains an entire class
in a trained classifier without the need for human supervision"
1단계
이미지를 texture, object parts, and objects 3 level로 segmentation한다.
2단계
유사한 segment끼리 그룹화하는데 이때 이미지넷등 데이터를 cnn으로 미리 학습한 모델을 사용한다.
final 층의 activation space에서 유클리드 distance로 분류, 대부분 분류기는 입력 이미지가 고정인데 segment들의 사이즈는 arbitary하다. 따라서 resize필요. 이렇게 유사한 segment끼리 같은 개념으로 묶음.
concept coherancy를 위해 유사도가 떨어지는 segment들은 삭제
semantic segmentation methods은 계산 cost문제와 다른 resolution에는 적용불가능한 문제로 ACE는 super-pixel
segmentation methods을 사용한다.
