혼공머신 3주차
- Chapter 4) 다양한 분류 알고리즘
4-1 로지스틱 회귀
럭키백의 확률 - 생선 7종 중 당첨될 생선종류의 확률값 찾기
- 다중 분류 : 타깃 데이터에 2개 이상의 클래스가 포함된 경우
- 이중 분류 : 타깃 클래스가 2개인 경우
k-최근접 이웃 분류기로 확률 예측하기!!
k-최근접 이웃을 사용하면, 정해진 확률로만 결과가 나옴
예) 최근접 이웃 개수 3인 경우, 0/3 1/3 2/3 3/3의 확률이 전부임
로지스텍 회귀 이용하기
로지스틱 회귀는 선형 방정식을 사용한 분류 알고리즘으로, 모델 중 시그모이드 함수는 이진 분류를 위해 사용한다.
0.5 < z값, 양성클래스
0.5 > z값, 음성클래스
0.5 = z값, 0
- 불러딩 인덱싱 : True만 행에서 선발, 로지스틱 회귀 모델로 훈련
- LogistisRegression : 선형 분류 알고리즘인 로지스틱 회귀를 위한 클래스
- predict_proba() : 음성클래스와 양성클래스에 대한 확률 출력
- 시그모이드 함수 : 선형 방정식의 출력에 따라 0과 1 사이의 값으로 압축, 이진 분류를 위해 사용
- 소프트맥스 함수 : 다중 분류에서 여러 선형 방식의 출력 결과를 정규화하여 합이 1이 되도록 한다.
4-2 확률적 경사 하강법
기존 훈련 데이터에 새로운 데이터를 추가하여 모델을 매일매일 다시 훈련하는 것!!
- 한 번에 준비되는 것이 아니라 조금씩 경사가 가파른 곳으로 내려오기
- 에포크 : 확률적 경사 하강법에서 훈련세트를 한 번 모두 사용하는 과정
- 미니패치 경사 하강법 : 여러개의 샘플을 사용해 경사 하강법을 수행
- 배치 경사 하강법 : 전체 데이터를 사용하면서 안정적인 방법이 될 경우
- 손실 함수 : 어떤 문제에서 머닝러신 알고리즘이 얼마나 엉터리인지 측정하는 기준, 값이 작을수록 좋다.
예) 분류에서 손실은 정답을 못 맞추는 것 - partial_fit() : 객체를 새로 만들지 않고, 모델을 이어서 훈련
3주차 학습 일기
혼공머신과 함께 알고리즘에 대해 조금씩 알아가는 중!!
점점 어렵다는 느낌이 들지만, 두번 세번읽으면서 따라가고 있다.
한번에 다 이해할 거란 기대는 안했지만, 좀더 노력해야겠다.
공부기록