# [기술] 손실함수와 최적화함수

안규원·2024년 6월 16일

AI

목록 보기
13/22

[손실함수]


손실함수는 모델의 예측값과 실제값 사이의 차이를 측정해 모델이 얼마나 정확한지 평가하는데 사용됨

criterion = nn.BCELoss()

Binary Cross-Entropy Loss의 약자로, 이진 분류 문제에서 사용됨.
예측값이 0과 1 사이의 확률일 때, 그 확률과 실제 라벨(0 또는 1) 간의 차이를 측정하는데, 주로 마지막 활성화 함수로 시그모이드(sigmoid)를 사용하는 이진 분류 모델에서 사용

[최적화함수]


최적화함수는 손실함수를 최소화하기 위해 모델의 가중치를 업데이트하는 방법을 결정

optimizer = optim.Adam(model.parameters(), lr=0.001)

Adam (Adaptive Moment Estimation) 옵티마이저는 모멘텀과 RMSProp의 장점을 결합한 최적화 알고리즘으로, 학습률(lr) 파라미터를 통해 학습의 속도를 조절한다. 모델의 파라미터를 인자로 받아 업데이트한다.

0개의 댓글