logit이 뭐야?

로짓(logit)은 소프트맥스(Softmax) 또는 시그모이드(Sigmoid) 함수에 입력되는 원시 예측 값입니다. 로짓은 모델의 마지막 레이어에서 나오는 값으로, 아직 확률로 변환되지 않은 상태의 점수입니다. 쉽게 말해, 로짓은 소프트맥스나 시그모이드 함수에 들어가기 전의 값으로, 클래스에 대한 상대적인 '점수'를 나타냅니다.

로짓의 의미:

• 로짓(logit)은 분류 모델에서 각 클래스에 대해 예측한 값들의 집합입니다.
• 이 값들은 아직 확률 분포로 변환되지 않았고, 소프트맥스를 적용하면 각 클래스에 대한 확률을 얻게 됩니다.
• 로짓은 실수값을 가질 수 있으며, 모델은 이 값들을 바탕으로 어느 클래스가 더 유력한지 결정합니다.

예시:

1. 로짓 (Logits): 모델이 각 클래스에 대해 계산한 점수(예: [-1.2, 0.5, 2.1]). 이 점수는 비교 가능하지만, 확률 값은 아닙니다.
2. 소프트맥스 (Softmax): 이 로짓을 소프트맥스 함수에 통과시키면, 확률 분포가 됩니다(예: [0.1, 0.3, 0.6]).

로짓과 소프트맥스의 관계:

1. 로짓(Logit): 각 클래스에 대한 상대적 점수

   • 예: logits = [-1.2, 0.5, 2.1] (세 개의 클래스에 대한 점수)

2. 소프트맥스(Softmax): 로짓을 확률로 변환

   • softmax(logits) = [0.1, 0.3, 0.6] (세 개의 클래스에 대한 확률)

   소프트맥스는 모든 로짓을 확률 값으로 변환하며, 이 확률 값의 합은 항상 1입니다.

로짓을 사용하는 이유:

• 로짓은 소프트맥스나 시그모이드 함수를 사용해 확률 분포를 만들기 전의 값으로, 분류 문제에서 모델이 각 클래스에 대해 계산한 "자신감"의 점수라고 생각할 수 있습니다.
• 로짓을 사용하면 모델이 더 유연하게 예측할 수 있으며, 확률을 계산하기 전에 모델이 어떤 클래스에 대해 더 높은 점수를 할당했는지 확인할 수 있습니다.

로짓과 크로스 엔트로피:

• Cross Entropy Loss 함수는 로짓을 입력으로 받아 softmax와 결합하여 손실 값을 계산합니다.
  • 로짓을 크로스 엔트로피에 넣으면, 내부적으로 소프트맥스가 적용되어 손실을 계산합니다.

요약:

• 로짓(logit)은 확률로 변환되기 전의 원시 예측 값이며, 모델이 각 클래스에 대해 계산한 점수입니다.
• 소프트맥스를 적용하면 로짓이 확률 분포로 변환됩니다.
• 로짓은 분류 문제에서 모델이 얼마나 자신 있게 각 클래스를 예측하는지를 나타내는 중요한 값입니다.