🎈 본 리뷰는 Grad-CAM 및 리뷰를 참고해 작성했습니다.

👩‍💻 오늘은 Grad-CAM 논문 리뷰를 진행해보겠습니다. 제목과 같이 Grad-CAM은 딥러닝 네트워크를 이해를 도와줍니다. 흔히 딥러닝 네트워크를 "블랙박스"라고 부르는데, 이는 어떠한 과정을 거쳐 결과가 나오는지 정확하게 이해하기 어렵기 때문입니다. 복잡한 계산과 깊어지는 layer로 인해 최근에는 더더욱이 설명하기 어렵습니다. Grad-CAM은 이와 같은 문제해결에 도움을 주는 방법론이라고 말할 수 있으며, 한 마디로 CNN 기반의 네트워크를 보다 투명하고 알기 쉽게 만들 수 있습니다.

🎈 그림 (c), (i)에 Grad-CAM의 예시를 확인할 수 있습니다. Heatmap으로 뚜렸하게 "Cat", "Dog"를 인식하는 것을 확인할 수 있습니다. Grad-CAM은 특정 네트워크 layer에서 어떤 부분을 강조하는지 시각적으로 확인할 수 있습니다.

Introduction

✔ CNN을 기반으로 하는 다양한 vision task들이 존재하는데, 이러한 모델들의 과정을 직관적으로 이해하는 것에는 아직까지 많이 부족합니다. 즉, 이러한 네트워크들이 정확하게 어떻게 동작하는지 해석하기 어렵다 라고 말할 수 있습니다.

✔ 해석의 문제에 대해 조금 더 구체적으로 이야기하면, Grad-CAM과 같은 설명할 수 있는 방법이 존재한다면, 실패한 방법들에 대한 논리적인 원인을 찾을 수 있을 겁니다. 또한 직관적인 근거을 제시함으로써 모델의 신뢰도가 증가할 것입니다.

✔ 일반적으로 모델의 정확도와 단순함 또는 해석 가능함은 trade-off 관계가 존재합니다. 즉, 모델의 해석하기 위해선 간단한 구조의 모델을 사용해야하며, 이는 낮은 정확도를 가진다는 의미입니다. 점점 모델의 구조에 깊어지고, 복잡해지고 있습니다. 이를 해결하기 위해 Class Activation Mapping(CAM)이라는 방법론이 나왔으며, 이를 통해 class 식별하며 구분할 수 있습니다. 하지만 오직 CNN 네트워크에서만 사용할 수 있다는 단점이 존재합니다. Grad-CAM은 위의 CAM을 일반화(generalization)을 했다고 생각할 수 있습니다.

🎈 What makes a good visual explanation??

✔ good visual explanation을 하기 위해 아래 두 가지 카테고리에 대해 잘 구분해야합니다.

(1). Class-discriminative
(2). High-Resolution

✔ 위의 Grad-CAM의 경우에는 Class-disciminative는 충분히 가능하지만, High Resoultioin 하지 않습니다. 하지만 Guided 방법들의 경우에는 High Resoultioin 하지만, Class-disciminative 하는데 잘 식별되지 않습니다. 위의 두 가지 방법을 혼용한 방법인 Guided Grad-CAM을 확인하면 Class-disciminative, High Resoultioin 전부 잘 확인할 수 있는 것을 볼 수 있습니다.

Grad-CAM

✔ 일반적으로 CNN 네트워크 중 마지막 Conv layer 에서 가장 많은 공간 정보를 가지고 있습니다. Fc layers에서는 공간 정보가 손실됨으로 그 직전의 layer에서 공간 정보를 추출할 수 있습니다. 그러므르 Grad-CAM에서는 Conv layer의 마지막 layer를 사용합니다.

🎈 간단하게 전체적인 네트워크 흐름에 대해 살펴보면, Softmax 이전의 class c의 결과로부터 마지막 Conv layer까지의 Gradient를 계산합니다. 위에 그림에서도 확인할 수 있듯이 어떤 task든 관계없이 동일하게 수행됩니다. Backprop된 gradient에 대해 GAP를 수행합니다. 수행된 GAP를 Weight로 사용해 feature map과 연산을 수행하고 ReLU function을 통과해 결과를 출력합니다.

✔ Fig 2.의 Grad-CAM의 결과는 Class $c$에 대한 width x height 크기의 결과라고 말할 수 있습니다.

✔ 계산 순서로는 먼저 score for class $c$, $y^c$의 gradient를 계산합니다(softmax이전까지). 이 gradient를 GAP로 계산합니다. 그리고 이 결과를 $a^c_k$라고 부릅니다.

🎈 Weight $a_k^c$는 A로부터 downstream된 partial linearization(부분 선형화)이며, 이는 feature map $k$와 target class $c$의 중요도를 포착했다고 말할 수 있습니다. 이후에 ReLU function을 통과해 결과를 얻는데, ReLU Function을 사용하는 이유는 positive한 것들만을 찾고 있는 것이 때문입니다.

Grad-CAM generalizes CAM

✔ Grad-CAM을 일반화한 CAM이라고도 말할 수 있습니다. 이는 수식적으로 증명이 가능합니다.

🎈 이는 Grad-CAM 리뷰해주신 자료를 첨부했습니다. 아래 Reference에서 확인하실 수 있습니다. 위의 과정이 논문에 제시된 글보다 더욱 이해가 쉽기 때문에 가지고왔습니다.

✔ 먼저 첫번째 식을 보면, $Y^c$를 Softmax 이전의 값을 말합니다. $Z$는 pixel의 수 이며, $i,j$는 각 픽셀의 위치을 의미하며, $A^k_{i,j}$는 $k$번째 feature map의 $i,j$번째 위치입니다.

✔ 위의 값을 정의하고, 위의 식을 따라가다보면 결론적으로 기존의 CAM을 일반화한 모습이란 것을 확인하실 수 있습니다.

✔ CAM과 Grad-CAM의 차이에 대해 간단하게 언급하면, CAM의 경우에는 CAM을 하기 위해서 추가적인 GAP layer가 필요하다면, Grad-CAM의 경우에는 어떠한 변동없이 Gradient로 학습할 수 있습니다.

Guided Grad-CAM

✔ Grad-CAM은 class-discriminative이며 관련 이미지 영역을 localizes 하지만 Guided backpropagation과 같은 fine-grained한 디테일을 강조할 수 없습니다.

✔ Guided Grad-CAM은 Grad-CAM에 Guided한 방법을 element-wise한 방법입니다. Guided backpropagation은 역전파 과정에서 negative한 gradient을 억제하는 방법을 말합니다. 이느 마치 ReLU function을 gradient에 적용한 것과 비슷합니다.

🎈 Grad-CAM의 방법론은 위와 같은 어렵지 않는 방법임을 알 수 있습니다. 논문에서는 다양한 실험 결과에 대해서도 서술하고 있기 때문에 궁금하지면 찾아보는 것을 추천드리겠습니다. Grad-CAM은 딥러닝이 어떻게 학습하는 것인지에 대한 논리적인 부분을 설명하는 것에 도움을 줄 수 있는 방법입니다. 또한 Grad-CAM은 이전의 CAM과 다르게 layer 수정이 불필요하다는 점이 매우 장점이라고 할 수 있습니다. Vision과 관련된 Network라면 Grad-CAM을 적용해 필요한 근거자료를 찾을 수 있을 것입니다.

---

Reference

• https://www.youtube.com/watch?v=faGsrPX1yFM&ab_channel=taesu
• https://www.youtube.com/watch?v=uA5rIr79I0o&ab_channel=%EA%B3%A0%EB%A0%A4%EB%8C%80%ED%95%99%EA%B5%90%EC%82%B0%EC%97%85%EA%B2%BD%EC%98%81%EA%B3%B5%ED%95%99%EB%B6%80DSBA%EC%97%B0%EA%B5%AC%EC%8B%A4