[혼공머신] 3주차 - 분류 알고리즘

4. 다양한 분류 알고리즘

로지스틱 회귀 알고리즘

• 로지스틱 회귀 알고리즘
  • 선형 방정식을 학습하는 분류 알고리즘
  • 시그모이드 함수나 소프트맥스 함수를 사용하여 클래스 확률 출력
• 시그모이드 함수 (로지스틱 함수) : 선형 방정식의 출력을 0 ~ 1 의 값으로 압축하여 이진 분류에 사용
• 소프트맥스 함수 : 다중 분류에서 여러 선형 방정식의 출력 결과 합이 1이 되도록 정규화하는 함수

확률적 경사 하강법

• 확률적 경사 하강법
  • 훈련 세트의 샘플에서 손실 함수 경사를 따라 최적의 모델을 찾는 알고리즘
  • 샘플 여러 개 사용 시, 미니배치 경사 하강법
  • 전체 샘플 사용 시, 배치 경사 하강법
• 손실 함수 : 알고리즘 정확도를 체크하는 요소
  • 이진 분류 - 로지스틱 회귀 또는 이진 크로스엔트로피 손실 함수 사용
  • 다중 분류 - 크로스엔트로피 손실 함수 사용
  • 회귀 문제 - 평균 제곱 오차 손실 함수 사용
• 에포크 : 확률적 경사 하강법에서 전체 샘플을 사용하는 반복 1회

기본 미션

• 04-1. 2
• 로지스틱 회귀가 이진 분류에서 확률을 출력하기 위해 사용하는 함수 : 시그모이드 함수