🗂️ 2024.08.13 TIL

Python

1. 리스트의 요소를 끊기지 않고, 연결해서 더해야 하는 경우
   • 리스트를 두 개 붙이기

머신러닝

로지스틱회귀 이론

로지스틱회귀: 범주형 종속변수(Y)가 0 또는 1인 이진 분류 문제를 다루기 위해 사용되는 통계적 방법

1. 오즈비(Odds Ratio)

• 오즈비는 특정 사건이 발생할 확률을 발생하지 않을 확률로 나눈 값. 예를 들어, 사건이 발생할 확률이 80%라면 오즈비는 $\frac{0.2}{0.8}=4$. 즉, 사건이 발생할 확률이 발생하지 않을 확률보다 4배 높다는 의미.

2. 로짓(Logit) 함수

• 하지만 오즈비는 확률이 증가할수록 급격히 증가하여 선형성을 따르지 않기 때문에 바로 사용할 수 없다. 이를 완화하기 위해 로짓 함수가 도입된다.
• 로짓 함수는 오즈비에 로그를 취한 함수로, 다음과 같이 표현된다: $Logit=log⁡(\frac{P}{1−P})$
  
• 로짓함수는 확률(P)과 선형 관계를 갖도록 만들어 줌

3. 로지스틱 함수

• 로짓을 확률(P)에 대해 정리하면, 로지스틱 함수가 도출된다:
  • $P=\frac{1}{1+e^{−Logit}}$
• 이 식은 S자 형태의 곡선을 나타내며, 확률값이 항상 0과 1 사이에 위치하게 한다.

4. 로지스틱 회귀 방정식

• 로지스틱 회귀는 선형 회귀의 우변을 로짓에 결합한 형태로 나타낼 수 있다:
  • $log⁡(\frac{P}{1−P})=w_0+w_1X$
• 이 방정식에서 $w_1$은 X가 1단위 증가할 때 오즈비가 $e^{w_1}$배 증가하는 것을 의미.

5. 로지스틱 회귀의 활용

• 로지스틱 회귀를 사용하면 입력 변수(X)로부터 사건이 발생할 확률(P)을 계산할 수 있으며, 이 확률이 0.5 이상이면 사건이 발생한다고 예측(P(Y) = 1), 그렇지 않으면 발생하지 않는다고 예측(P(Y) = 0)하게 된다. 이 과정은 이진 분류 문제에서 매우 유용하게 사용된다.