Negative Log Likelihood Loss (NLL Loss)

1. Negative Log Likelihood Loss란?

Negative Log Likelihood Loss는 모델이 예측한 확률 분포와 실제 레이블 간의 차이를 측정하는 손실 함수입니다. 이 손실 함수는 모델이 올바른 클래스를 높은 확률로 예측할수록 작아지고, 잘못된 클래스를 높은 확률로 예측할수록 커집니다.

• 목적: 모델이 올바른 클래스를 높은 확률로 예측하도록 유도.
• 수식:
  

---

2. Softmax와의 관계

Softmax 함수는 모델의 출력을 확률 분포로 변환합니다. 예를 들어, 모델이 어떤 입력에 대해 여러 클래스에 대한 점수(score)를 출력하면, Softmax는 이 점수들을 확률로 변환합니다. 이 확률 분포는 모든 클래스에 대한 확률의 합이 1이 되도록 정규화됩니다.

---

3. Negative Log Likelihood Loss 계산 과정

이제 구체적인 예제를 통해 Negative Log Likelihood Loss가 어떻게 계산되는지 설명드리겠습니다.

3.1 예제 상황

• 긍정적인 예제: 사용자 "42"와 영화 "Star Wars (1977)" 간의 유사도 점수는 0.75입니다.
• 암시적인 부정적인 예제: 사용자 "42"와 영화 "Toy Story (1995)" 간의 유사도 점수는 0.45입니다.
• 암시적인 부정적인 예제: 사용자 "42"와 영화 "The Matrix (1999)" 간의 유사도 점수는 0.60입니다.

3.2 Softmax 계산

이제 Softmax 함수를 사용하여 긍정적인 예제와 암시적인 부정적인 예제에 대한 확률을 계산합니다.

3.3 Negative Log Likelihood Loss 계산

이제 Softmax로 계산된 확률에 대해 Negative Log Likelihood Loss를 계산합니다.

---

4. 왜 Negative Log Likelihood를 사용할까?

Negative Log Likelihood Loss는 다음과 같은 이유로 사용됩니다:

1. 확률의 의미를 반영: 모델이 예측한 확률이 높을수록 손실이 작아지고, 확률이 낮을수록 손실이 커집니다. 이는 모델이 올바른 예측을 하도록 유도합니다.
2. 수학적 편의성: 로그 함수는 곱셈을 덧셈으로 변환해주기 때문에, 계산이 간단해지고 수치적 안정성이 높아집니다.
3. 최적화 용이성: 로그 함수는 미분이 쉽기 때문에, 경사 하강법(Gradient Descent)과 같은 최적화 알고리즘을 적용하기에 적합합니다.

---

5. 요약

• Softmax: 모델의 출력을 확률 분포로 변환.
• Negative Log Likelihood Loss: 모델이 예측한 확률 분포와 실제 레이블 간의 차이를 측정.
• 계산 과정:
  1. Softmax를 사용하여 긍정적인 예제와 암시적인 부정적인 예제에 대한 확률을 계산.
  2. 긍정적인 예제에 대한 확률에 대해 Negative Log Likelihood Loss를 계산.
  3. 손실이 작을수록 모델의 예측이 정확하다는 것을 의미.

이 과정을 통해 모델은 사용자가 좋아할 만한 영화를 더 잘 추천할 수 있게 됩니다.

---

P(positive)는 1에 가까울수록 좋습니다. 이는 모델이 긍정적인 예제(positive example)를 매우 높은 확률로 예측했다는 것을 의미하며, 이는 모델이 사용자가 좋아할 만한 영화를 정확히 찾아냈다는 것을 나타냅니다.

---

1. P(positive)의 의미

---

2. P(positive)가 1에 가까울수록 좋은 이유

• 모델의 목표: 모델은 사용자가 시청한 영화(긍정적인 예제)를 높은 확률로 예측하고, 사용자가 시청하지 않은 영화(암시적인 부정적인 예제)를 낮은 확률로 예측하는 것입니다.
• P(positive)가 1에 가까울수록:
  • 모델이 긍정적인 예제를 매우 정확하게 예측했다는 것을 의미합니다.
  • 이는 모델이 사용자의 선호도를 잘 이해하고 있다는 것을 나타냅니다.

---

3. Negative Log Likelihood Loss와의 관계

---

4. 예제를 통한 설명

---

5. 요약