[혼공머신] 3주차_미션 및 공부내용

이번 과제는 문제를 푸는 거입니다.
로지스틱 회귀가 이진 분류에서 확률을 출력하기 위해 사용하는 함수는 무엇인가요?
라는 문제이다.
1번시그모이드 함수
2번 소프트맥스 함수
3번 로그 함수
4번 지수 함수

정답은 1번 시그모이드 함수입니다.

로지스틱 회귀는 이름에 '회귀'가 들어가지만 실제로는 분류, 특히 이진 분류에 널리 사용되는 알고리즘입니다. 이진 분류란 '예/아니오', '합격/불합격', '스팸/정상 메일'처럼 두 가지 중 하나의 결과로 예측하는 문제를 말합니다.

단순한 선형 회귀는 예측값이 (-∞, ∞) 범위로 제한 없이 쭉 뻗어 나갑니다. 하지만 우리가 원하는 것은 0과 1 사이의 '확률' 값이죠. 예를 들어, '이 메일이 스팸일 확률은 75%다'와 같이 말이죠. 바로 이 지점에서 특별한 함수가 필요하게 됩니다. 선형 회귀의 결과를 0과 1 사이의 확률 값으로 매끄럽게 변환해 줄 함수 말입니다.

---

정답: 1. 시그모이드 함수 (Sigmoid Function) 🎯

로지스틱 회귀는 시그모이드 함수를 사용하여 선형 모델의 예측값을 0과 1 사이의 확률로 변환합니다. 시그모이드 함수는 S자 형태의 곡선을 가지며, 그 수학적 표현은 다음과 같습니다.

$\sigma(z) = \frac{1}{1 + e^{-z}}$

여기서 $z$는 선형 회귀의 결과값(입력 데이터와 가중치의 조합)입니다.

• $z$가 매우 큰 양수이면 $e^{-z}$는 0에 가까워져 시그모이드 함수의 값은 1에 수렴합니다.
• $z$가 매우 큰 음수이면 $e^{-z}$는 무한대에 가까워져 시그모이드 함수의 값은 0에 수렴합니다.
• $z$가 0이면 시그모이드 함수의 값은 정확히 0.5가 됩니다.

이처럼 시그모이드 함수는 어떤 입력값이 들어와도 출력을 항상 (0, 1) 범위로 만들어주기 때문에 특정 클래스에 속할 확률을 나타내는 데 아주 적합합니다.

---

오답 노트: 다른 함수들은 왜 아닐까?

그렇다면 다른 보기들은 왜 정답이 아닐까요?

• *2. 소프트맥스 함수
  소프트맥스 함수도 확률을 출력하는 데 사용되지만, 3개 이상의 클래스를 분류하는 다중 클래스 분류에 사용됩니다. 예를 들어, 손글씨 숫자를 0부터 9까지 10개의 클래스로 분류하는 경우, 소프트맥스 함수는 각 클래스에 대한 확률을 모두 출력하고 그 총합이 1이 되도록 만듭니다. 이진 분류는 시그모이드 함수의 특별한 경우라고 볼 수 있죠.

• 3. 로그 함수
  로그 함수, 특히 로그 오즈는 로지스틱 회귀 모델의 내부에서 중요한 역할을 합니다. 확률을 선형적인 관계로 변환하여 모델이 학습하기 쉽게 만들어주죠. 또한, 모델의 성능을 평가하는 비용 함수에도 로그가 사용됩니다(로그 손실). 하지만 최종적으로 확률을 출력하는 함수는 시그모이드 함수이며, 시그모이드 함수는 로짓 함수의 역함수 관계입니다.

• 4. 지수 함수
  지수 함수는 시그모이드 함수의 수식에 포함된 구성 요소일 뿐, 그 자체가 최종 확률을 출력하는 함수는 아닙니다.