📘 Backpropagation(역전파)

1. Backpropagation이란?

신경망 학습에서 중요한 것은 가중치와 편향을 얼마나, 어떻게 바꿀지 정하는 것이다.
Backpropagation(역전파)은 출력에서 계산된 오차를 거꾸로 전파하면서, 각 가중치가 오차에 얼마나 기여했는지를 계산하는 방법이다.

👉 쉽게 말하면, 시험을 보고 틀린 문제를 왜 틀렸는지 원인을 한 단계씩 거슬러 올라가며 찾는 과정이라고 보면 된다.

2. 왜 필요한가?

• 신경망은 여러 층(layer)으로 이루어진 복잡한 함수다.
• 단순히 "틀렸다"는 사실만 알고는 어디를 고쳐야 할지 알 수 없다.
• Backpropagation은 **각 층의 기여도(기울기)**를 알려주므로, 가중치를 올바르게 조정할 수 있다.

3. 동작 과정

1. 순전파(Forward Propagation)

   • 입력 데이터를 네트워크에 넣어 예측값을 만든다.
   • 예: “고양이 사진 → [개:0.1, 고양이:0.8, 토끼:0.1]”

2. 손실 계산

   • 예측값과 실제 정답을 비교해 오차를 구한다.
   • 예: 정답은 ‘고양이(1)’인데, 모델은 0.8만 맞췄다면 손실이 조금 있다.

3. 역전파(Backward Propagation)

   • 이 오차를 출력층부터 입력층까지 거꾸로 전파한다.
   • 각 층의 가중치가 오차에 얼마나 영향을 줬는지 계산한다.

4. 가중치 업데이트

   • 계산된 기울기를 바탕으로, 경사 하강법 같은 최적화 알고리즘으로 가중치를 조금씩 조정한다.

4. 직관적 비유

• 신경망을 “여러 명이 함께 푸는 팀 프로젝트”라고 해보자.
• 최종 결과(손실)는 점수로 나온다.
• 역전파는 “누가 점수 깎인 데 얼마나 책임이 있는지” 거꾸로 따져보는 과정이다.
• 그 결과를 기반으로 각 팀원이(가중치) 조금씩 공부 방향(업데이트)을 바꾼다.

5. PyTorch 간단 예시

import torch
import torch.nn as nn

# 간단한 신경망
model = nn.Sequential(
    nn.Linear(4, 5),
    nn.ReLU(),
    nn.Linear(5, 3)
)

x = torch.randn(2, 4)      # 입력 데이터
y = torch.tensor([1, 2])   # 정답 레이블

criterion = nn.CrossEntropyLoss()
out = model(x)             # 순전파
loss = criterion(out, y)   # 손실 계산

loss.backward()            # 역전파 실행

loss.backward() 한 줄이 바로 Backpropagation이다.
프레임워크가 자동으로 각 가중치가 받은 책임(기울기)을 계산해준다.

6. 핵심 요약

• Backpropagation은 출력 오차를 거꾸로 전달하며 기울기를 구하는 과정이다.
• 이 기울기를 이용해 가중치를 업데이트하면 모델은 점점 더 정확해진다.
• 현대 딥러닝 프레임워크(PyTorch, TensorFlow)는 이를 자동으로 처리해주므로, 원리를 알고 있으면 디버깅과 이해에 큰 도움이 된다.