― 둘 다 “역방향”인데 뭐가 다를까?

논문 리뷰(https://aclanthology.org/P19-1580.pdf)를 하며, LRP와 BackPropagation의 차이가 뭔지 너무 궁금하여 작성하게되었다.

LRP도 뒤로 전파하고, Backpropagation도 뒤로 전파하는데
도대체 뭐가 다른 걸까?

결론부터 말하면,

• Backpropagation은 학습을 위한 알고리즘
• LRP (Layer-wise Relevance Propagation)는 설명을 위한 알고리즘

같은 "역방향 계산"처럼 보이지만, 목적과 수학적 의미가 완전히 다르다.

---

1. Backpropagation: 학습을 위한 역전파

1-1. 목적

Backpropagation의 목적은 단 하나다.

"가중치를 얼마나 바꿔야 손실이 줄어드는가?"

즉, 최적화(optimization)를 위한 알고리즘이다.

---

1-2. 무엇을 계산하는가?

Backpropagation은 다음을 계산한다.

[
\frac{\partial L}{\partial w}
]

• (L): 손실 함수
• (w): 가중치

이 값은 기울기(gradient)이며,
의미는 다음과 같다.

"이 가중치를 아주 조금 바꾸면, 손실이 얼마나 변하는가?"

즉, 민감도(sensitivity)를 구하는 것이다.

---

1-3. 직관적인 예시

출력이 다음과 같다고 해보자.

[
y = x_1 w_1 + x_2 w_2
]

Backpropagation은 다음을 계산한다.

[
\frac{\partial y}{\partial x_1} = w_1
]

이는 말 그대로:

"x₁을 조금 바꾸면 출력이 얼마나 변하는가?"

현재 x₁이 실제로 얼마나 기여했는지는 직접적으로 보지 않는다.
오직 변화율만 본다.

---

2. LRP: 설명을 위한 역전파

2-1. 목적

LRP의 목적은 전혀 다르다.

"이 예측이 나오는데, 각 뉴런이 얼마나 기여했는가?"

즉, 설명(Explainability)을 위한 알고리즘이다.

---

2-2. 핵심 개념: Relevance (기여도)

LRP는 출력에서 시작한다.

예를 들어 어떤 클래스의 점수가 10이라면,
그 10이라는 값을 아래 층으로 분배해 내려간다.

그리고 이 분배는 다음 성질을 유지한다.

[
\sum R^{(l+1)} = \sum R^{(l)}
]

즉,

Relevance의 총합은 항상 보존된다.

이를 Conservation Property(보존 성질)라고 한다.

---

2-3. 기본 분배 방식 (직관적 형태)

LRP의 기본 아이디어는 다음과 같다.

[
Ri = \sum_j \frac{a_i w{ij}}{\sumk a_k w{kj}} R_j
]

여기서:

• (a_i): 뉴런 활성값
• (w_{ij}): 가중치
• (R_j): 상위층 relevance

의미는 단순하다.

출력에 기여한 비율만큼 relevance를 나눠준다.

즉, 실제 계산된 출력의 구성비를 따라 기여도를 분해하는 방식이다.

---

3. 핵심 차이: 민감도 vs 기여도

구분	Backpropagation	LRP
목적	학습	설명
계산 대상	Gradient	Relevance
의미	변화율(민감도)	공로(기여도)
총합 보존	없음	있음

---

3-1. 왜 Gradient ≠ 기여도인가?

Gradient가 크다는 것은

"조금 바꾸면 결과가 크게 변한다"

는 뜻이다.

하지만 이것은

"현재 결과를 많이 만들었다"

는 뜻이 아니다.

예를 들어:

• 어떤 뉴런은 지금 출력에 거의 쓰이지 않았지만
• 만약 값을 바꾸면 출력이 크게 바뀔 수도 있다

이 경우 gradient는 크지만 실제 기여는 작다.

---

4. LRP의 다양한 Rule

실제 신경망에서는 0으로 나누는 문제, 음수 기여, 불안정성 문제가 발생한다.
그래서 LRP는 여러 분배 규칙을 사용한다.

4-1. ε-rule (안정성 확보)

[
\frac{ai w{ij}}{\sumk a_k w{kj} + \epsilon}
]

작은 ε를 더해 분모가 0에 가까워지는 것을 방지한다.

---

4-2. γ-rule (양의 증거 강조)

양수 기여를 더 강조하도록 가중치를 조정한다.

분류 문제에서 “이 클래스를 지지한 증거”를 더 잘 드러내는 효과가 있다.

---

5. Transformer 관점에서 보면

예를 들어,

• 어떤 토큰이 최종 예측에 중요했는지 알고 싶다면?

Backpropagation

• 그 토큰 embedding의 gradient를 확인
• 의미: "조금 바꾸면 결과가 얼마나 변할까?"

LRP

• 그 토큰에 relevance를 분배
• 의미: "이 예측을 만드는 데 얼마나 기여했을까?"

설명 목적이라면 LRP가 더 직관적인 결과를 제공한다.

---

6. 한 줄 정리

• Backpropagation은
  → “얼마나 바꿔야 하는가?”를 계산하는 알고리즘

• LRP는
  → “누가 얼마나 만들었는가?”를 계산하는 알고리즘

같은 역방향 계산처럼 보이지만,

• 하나는 최적화를 위한 미분
• 하나는 출력을 분해하는 기여도 계산

이라는 점에서 본질적으로 다르다는 것을 알게되었다.
해당 알고리즘을 바탕으로 어떻게 적용하여 현업 및 실무에 적용할지 고민하게 되었다.