[AI] #1. Grad-CAM이란???

💻 Grad-CAM이란?
: Grad-CAM(Gradient-weighted Class Activation Mapping)은 신경망이 이미지를 분류할 때 특정 클래스에 대해 중요하게 여기는 이미지 영역을 시각화하는 기법

Grad-CAM의 작동 방식

1. 입력 이미지 준비

첫 번째 이미지를 모델에 넣기 전에, 이미지가 적절한 형태로 전처리

• 크기 조정: 이미지의 크기가 모델이 학습된 크기(224x224)와 맞도록 변환
• 정규화: 이미지의 픽셀 값이 [0, 1] 사이로 변환되고, 채널별로 평균과 표준편차를 사용해 정규화해, 모델이 이미지 데이터를 보다 효율적으로 처리할 수 있도록 함

---

✔ 정규화
원본 이미지의 픽셀값 ㅣ 0 ~ 255 사이
이 값들이 너무 크면, 모델이 계산할 때 값이 커져 학습이 불안정해짐
→ 정규화를 통해 값의 범위를 0에서 1 사이로 변환

---

2. 모델 예측

이미지가 Vision Transformer(ViT) 모델에 입력되면, 모델은 주어진 이미지를 바탕으로 예측을 수행.
예측 결과는 특정 클래스 (예: 개)에 대한 확률이 포함

3. 기울기 계산 (Gradients)

Grad-CAM의 핵심은 기울기 계산
Grad-CAM은 모델이 이미지의 어떤 부분을 기반으로 예측했는지를 확인하기 위해, 마지막 레이어의 출력에 대해 해당 클래스의 기울기 계산
→ 기울기는 모델이 특정 클래스에 대해 얼마나 주목했는지를 보여줌

4. Grad-CAM 마스크 생성

계산된 기울기를 바탕으로 Grad-CAM은 타겟 클래스에 대해 가중치가 적용된 특징 맵 생성.
이 특징 맵은 이미지에서 어떤 부분이 모델의 예측에 중요한지를 나타냄

5. 히트맵 시각화

• 마지막으로 Grad-CAM 마스크를 원본 이미지에 중첩
  이 과정에서 이미지 위에 색상 히트맵이 입혀져, 모델이 주목한 부분을 시각적으로 확인가능

• 빨간색이나 노란색은 모델이 매우 중요하게 여긴 영역, 파란색이나 보라색은 덜 중요하게 여긴 부분을 의미

---

결과

첫 번째 세트

• 왼쪽 이미지: 고양이의 정면 얼굴 사진
• 오른쪽 이미지: Grad-CAM이 적용된 결과.
  모델이 고양이를 인식할 때 주목한 부분이 히트맵으로 시각화됨

  • 빨간색 또는 노란색 영역: 모델이 해당 영역에 가장 많이 주목했다는 것을 의미
    고양이의 얼굴 부분, 특히 눈과 얼굴 윤곽에 주목

  • 파란색 영역: 덜 중요하게 생각한 영역

    해석: 이 결과는 모델이 고양이의 얼굴, 특히 눈과 코 주변에 가장 많이 주목하여 고양이를 인식했다는 것을 보여줌.
    → 고양이의 특징적인 얼굴 부분이 이미지 인식에 중요한 요소로 작용

두 번째 세트

• 왼쪽 이미지: 개와 고양이가 함께 있는 사진

• 오른쪽 이미지: Grad-CAM이 적용된 결과

  • 빨간색 및 노란색 영역: 주로 고양이의 머리와 얼굴 부분에 집중.
  • 일부 개의 얼굴 부분도 주목한 것으로 보이지만, 고양이의 얼굴이 더 중요한 영역으로 나타남
  • 파란색 영역: 덜 중요하게 인식한 영역. 개의 몸통이나 배경은 덜 주목하고 있음

  해석: 모델이 이미지에서 고양이의 얼굴에 더 많은 주목을 했고, 개의 얼굴에도 어느 정도 주목했음을 보여줌. 즉, 모델이 개와 고양이 둘 다 인식했지만, 고양이가 더 중요한 요소로 판단됨

---