Abstract
이 논문에서 제안된 Relevance-CAM은 Layer-wise Relevance Propagation을 활용하여 가중 구성 요소를 얻는 새로운 CAM 방법이다. 이 방법은 gradient 기반 CAM의 문제를 해결하여 중간 레이어에 대한 노이즈를 줄이고 모델의 추론과 결과 생성 과정을 더 잘 설명할 수 있다. 실험 결과는 Relevance-CAM이 다른 CAM 방법보다 우수한 성능을 보여준다.
Introduction
이 논문은 해석 가능한 딥러닝에 관한 연구를 소개하며, 특히 의료 영상 처리 분야에서의 중요성을 강조한다.
컴퓨터 비전에서 모델 분석을 위한 여러 방법 중 하나로 CAM 기반 방법과 분해 기반 방법이 있다. CAM은 모델의 결정을 히트맵으로 시각화하여 모델이 어디를 주목하는지를 파악하는 데 사용된다. 그러나 CAM은 모델 구조에 매우 제한적이며, Grad-CAM 및 Grad-CAM++은 모델 구조에 제약을 받지 않고 모델을 설명할 수 있다. LRP은 분해 기반 방법으로, 입력 이미지로의 모델 클래스 출력 점수를 특정 관련 전파 규칙을 통해 재분배한다.
이 논문에서는 Relevance-CAM이라는 새로운 해석 방법을 제안하며, 이 방법은 중간 레이어뿐만 아니라 마지막 합성곱 레이어에서도 모델을 분석할 수 있다는 점에서 기존 방법들을 능가한다.
- 새로운 CAM 기반 방법 도입: 논문은 "shattered gradient problem"을 해결하는 새로운 방법을 도입한다. 이는 중간 레이어에서도 잘 작동하는 CAM을 기반으로 한다. 이를 통해 Relevance-CAM은 다른 CAM 기반 방법에서는 어려웠던 중요한 세부 정보를 분석 가능하다. Relevance-CAM을 통해 작은 수용 영역을 가진 얕은 레이어조차도 특정 클래스의 특징을 추출할 수 있다.
- 히트맵을 사용한 효과적인 시각화: 히트맵을 사용하여, Relevance-CAM이 네트워크의 모든 레이어에서 효과적으로 작동함을 보여준다. 특히, 다른 방법들과 비교하여 얕은 레이어에서 목표 객체를 지역화하는 데 뛰어난 성능을 보인다.
- 객관적인 평가 지표: Relevance-CAM의 신뢰성과 지역화 능력은 평균 감소, 평균 증가 및 교차점을 통해 평가된다. 제안된 방법이 특히 중간 레이어에서 다른 CAM 기반 방법보다 성능이 좋다.
- 클래스 감도: 이 논문은 깊은 레이어뿐만 아니라 얕은 레이어에서도 클래스 민감성을 보여준다. Relevance-CAM은 이러한 얕은 네트워크 부분에서도 클래스별 정보를 추출할 수 있다.
Background
CAM
Class Activation Mapping(CAM)은 전역 풀링 레이어 이전의 마지막 합성곱 레이어 출력을 선형 가중 결합하여 클래스별 특정 영역을 시각화한다. 그러나 특정 아키텍처를 가진 모델에만 적용된다.
Grad-CAM
Grad-CAM은 CAM과 유사하지만 가중치 값을 계산하는 방법이 다르다. 이는 모든 CNN 모델에 적용 가능하도록 설계되었고, 활성화 맵의 중요성은 클래스에 대한 활성화 맵의 기울기로 정의된다.
Layer-wise Relevance Propagation(LRP)
LRP는 모델의 입력 픽셀과 출력 점수 간의 관련성을 정의하는 방법으로, 단일 레이어 모델의 경우에는 쉽게 적용된다. LRP는 모델의 구조를 레이어별로 분해하여 설명하며, 출력에서 입력으로 관련성 점수를 전파한다.
관련성 점수는 픽셀 공간에서 할당된 관련성의 합이 모델이 감지한 총 관련성과 일치하면 보수적이고, 모든 값이 0 이상인 경우 양수이다.
이전 레이어의 관련성을 현재 레이어로 전파하는 규칙은 깊은 테일러 분해에 대한 이론적 근거를 갖는 z-규칙으로, 다중 객체 이미지에서 대상 클래스에 대한 민감성이 낮은 것이 단점이다.
Contrastive Layer-wise Relevance Propaga
tion(CLRP)
CLRP는 LRP의 단점을 보완하기 위해 고안되었다. CLRP는 대상 클래스에 대한 민감도를 높이기 위해 비대상 클래스의 관련성을 대상 클래스의 관련성에서 제외한다. 이렇게 함으로써 CLRP에 의해 생성된 히트맵은 대상 클래스에 보다 민감해진다.
CLRP의 최종 레이어의 관련성 점수
Gradient Issue
- 기울기의 불연속성과 잡음 문제: 네트워크가 깊어짐에 따라 기울기는 불연속하고 잡음이 발생하는데, 이는 'shattered gradient problem'으로 알려져있다. 활성화 함수를 통과하면서 기울기가 포화되고, 조각별 선형성으로 인해 불연속성이 발생한다.
- 민감도에 대한 설명: Grad-CAM은 활성화 맵의 중요성을 기울기로 측정하는데, 이는 활성화 값에 대한 고려를 하지 않는다. 그래서 Grad-CAM은 활성화 맵의 민감도를 측정하며, 목표 클래스에 대한 기여는 고려하지 않는다.
- 관련성 점수: LRP는 연속성이 있고 잡음이 적으며, 목표 클래스 점수의 변화에 따라 관련성 점수가 측정된다. 이러한 이유로 LRP의 관련성 점수를 클래스 활성화 매핑의 가중 구성 요소로 고려한다.
Relevance-weighted Class Activation Map
Relevance-CAM은 이전 방법들과는 달리 마지막 합성곱 레이어의 활성화 맵에만 집중하지 않고, 깊은 레이어와 중간 레이어의 영향도 분석한다.
기울기의 불연속성과 잡음 문제를 해결하기 위해 새로운 CAM 기반 방법을 개발했으며, 이를 통해 얕은 레이어에서도 의미 있는 정보를 추출할 수 있다. Relevance-CAM은 중간 레이어에서도 클래스별 특정 정보를 추출할 수 있음을 발견했으며, LRP에서 얻은 관련성 점수를 사용하여 가중치를 할당한다.
이를 통해 Relevance-CAM은 하나의 순전파와 역전파로 계산되며, 각 채널의 활성화 맵이 목표 클래스 출력에 기여하는 정도를 파악할 수 있다.
Experiments
Depth-wise visualization
다양한 설명 방법을 사용하여 깊이별 히트맵을 시각화한다. 기울기 기반 방법은 얕은 레이어에서 클래스 특정 영역을 잘 지역화하지 못하는 반면, Relevance-CAM은 얕은 레이어에서도 잘 작동하며 목표 클래스를 잘 지역화한다.
평가 결과는 Relevance-CAM이 다른 방법보다 얕은 레이어에서 우수한 성능을 보인다. ResNet 50 및 VGG16에서 실험 결과를 통해 Relevance-CAM은 중간 레이어에서도 클래스 특정 정보를 추출할 수 있음을 보여준다.
ResNet50& VGG16 실험 결과
Evaluation for selectivity
Grad-CAM의 지역화 능력이 어떻게 훼손되는지를 보여주기 위해 가중 구성 요소를 시각화하고, 상위 3개의 가중 활성화 맵을 비교하여 Gradient-CAM과 Relevance-CAM의 선택성을 분석했다.
Gradient-CAM은 중요한 특징을 선택하지 못하는 반면, Relevance-CAM은 명확하게 특징을 추출하고 높은 해상도로 객체를 강조하여 모든 레이어에서 뛰어난 선택성을 보인. 이를 통해 Relevance-CAM이 gradient shattered problem에 견고하며, 레이어마다 높은 선택성을 제공함을 보여준다.
Evaluation for Localization
attention 맵의 지역화 능력이 중요하며, 이는 시각적 attention 메커니즘이나 자체 지우기 시스템과 같은 지역화 작업에 적용될 수 있다.
Relevance-CAM의 지역화 능력을 ImageNet 검증 세트와 ResNet 50 모델을 사용하며, Relevance-CAM을 사용하여 세그멘테이션을 수행하고 IoU메트릭을 사용하여 성능을 평가했다. 실험 결과, Relevance-CAM이 다른 방법보다 얕은 레이어에서 뛰어난 성능을 보였고, 대상 레이어가 얕아지더라도 IoU에 거의 변화가 없었다.
Class Sensitivity Test
F제안된 Relevance-CAM 방법의 클래스 감도를 시각적으로 테스트합니다. 얕은 레이어부터 깊은 레이어까지 다양한 클래스에 대한 마스크된 이미지를 보여주며, Relevance-CAM이 클래스별 특정 정보를 얻는 데 효과적임을 보여준다. 레이어가 깊어질수록 feature가 세분화되는 것을 확인할 수 있다.
Sanity check for Relevance-CAM
cascading randomization 테스트를 사용하여 평가했다. 이 실험은 설명 가능한 attention 맵에 대한 중요한 작업이다. ResNet50 모델의 레이어 2에 대한 Relevance-CAM 결과를 보여주는 Fig. 8에서 파라미터를 점진적으로 무작위로 섞은 결과를 확인했다. 이러한 무작위화로 인해 saliency 맵이 파괴되는 것을 확인했으며, 이 방법은 모델 파라미터에 민감함을 알 수 있었다.
Evidence that class specific information is
extracted from shallow layers
얕은 레이어에서 클래스별 정보가 추출된다는 주장에 대한 의문을 제기할 수 있다.
Relevance-CAM은 LRP를 채널별 가중치에만 사용하기 때문에, 얕은 레이어에서도 특정 클래스의 객체를 지역화하는 특징 맵이 존재하지 않을 수 있습니다. 그러나 실험 결과에서는 Relevance-CAM을 사용하여 얕은 레이어에서도 서로 다른 클래스의 객체가 분리되어 지역화되는 것을 확인했다. 이러한 결과는 얕은 레이어에서도 클래스별 특징을 추출할 수 있음을 나타내며, 더 깊은 레이어로 갈수록 보다 명확한 클래스별 특징이 추출됨을 보여준다.
Conclusion
이 논문에서는 신뢰성과 정확성 있는 딥러닝 모델 및 다양한 깊이의 레이어를 설명하기 위한 새로운 Class Activation Mapping 방법인 Relevance-CAM을 제안했다.
이 방법은 다른 방법의 문제를 해결하며, 얕은 레이어에서도 클래스별 특징을 추출할 수 있음을 발견했다. 이는 transfer learning, model pruning, n 등 다양한 분야에 활용될 수 있으며, 딥러닝 모델에 대한 분석을 심화할 수 있도록 한다. ㄴ
