Backpropagation
Backpropagation은 인공신경망의 학습 알고리즘 중 하나로, 오차를 역전파하여 가중치를 조정하여 모델을 학습시키는 방법입니다.
Backpropagation 동작 원리와 쓰는 이유
Backpropagation은 입력층부터 출력층까지 전파된 예측값과 실제값의 오차를 이용하여 역방향으로 가중치를 조정하여 학습합니다. 이를 통해 모델의 정확도를 향상시킬 수 있습니다.
활성화 함수란?
활성화 함수는 인공신경망의 각 뉴런에서 입력값에 대한 출력값을 결정하는 함수입니다. 이 함수를 통해 비선형성을 추가하여 모델의 표현력을 향상시킵니다.
시그모이드 함수 안 쓰는 이유
시그모이드 함수는 기울기가 0인 구간이 존재하여 기울기 소실 문제가 발생할 수 있습니다. 또한, 뉴런의 출력값이 항상 양수이기 때문에 음수값을 나타내는 정보를 잃을 수 있습니다.
ReLU 함수 쓰는 이유
ReLU 함수는 시그모이드 함수와 달리 기울기 소실 문제가 발생하지 않으며, 계산 속도가 빠릅니다. 또한, 입력값이 음수일 경우에는 0으로 출력되기 때문에 음수값을 처리하는 데 효과적입니다.
어차피 내일 쓸려고 미룰텐데 걍 오늘 쓰자