📒 [ TIL ] 2022.05.13_19일차 # 머신러닝 강의학습(2)

[ 2022-05-13 (금) 오늘의 TIL ]

[ Today Learn ]

• 논리회귀의 개념과 다양한 머신러닝 모델
• 머신러닝에서 쓰이는 전처리 기법

✏️ 내가 배운것, 얻은것

❓ 논리회귀란 ?

머신러닝에서, 입력값과 범주 사이의 관계를 구하는 것

• 이진논리회귀
• 다항논리회귀

🧩 적용 예시 (이진논리)

🔎 대학교 시험 전 날 공부한 시간을 가지고 해당 과목의 이수 여부(Pass or fail)를 예측하는 문제
   input값: 공부한 시간  
   output값: 이수여부(Pass or Fail)

이 문제를 만약 선형회귀를 사용하면 우스꽝스러운 그래프가 나타나다. 따라서 이런경우 이진 논리 회귀로 해결할 수 있다. 바로 Sigmoid function을 사용하여 아래와 같은 그래프를 만들 수 있다.

실질적인 계산은 선형회귀와 똑같지만, 출력에 Sigmoid함수를 붙여 0에서 1사이의 값을 가지게 된다.

위의 그래프와 같이 예측한 라벨이 0일 경우 확률이 1이 되도록 해야하고, 예측한 라벨이 1일 경우 확률이 0이 되도록 만들어야 하고, 반대로 정답 라벨 y가 1일 경우에는, 예측한 라벨 1일 때 확률이 1이 되도록 만들어야 한다.

이렇게 가로축을 클래스로 표시하고 세로축을 확률로 표시한 그래프를 '확률분포그래프'라고 한다. 이 그래프의 차이를 비교할 때는 Crossentropy 라는 함수를 이용한다.

입력값의 확률 분포가 파란색그래프처럼 나왔을때, crossentropy는 파란색그래프를 빨간색 그래프처럼 만들어주는 함수이다.

💡 Keras에서 이진 논리 회귀의 경우 binary_crossentropy 손실 함수를 사용한다.

🧩 적용 예시 (다항논리)

🔎 대학교 시험 전 날 공부한 시간을 가지고 해당 과목의 성적(A, B, C, D, F)을 예측하는 문제
   input값: 공부한 시간  
   output값: 과목의 성적(A,B,C,D,F)

위 문제를 논리회귀로 풀려면 5개의 클래스로 나눌 수 있다.

❓ One-hot encoding란 ?

다항 분류문제를 풀 때 출력값의 형태를 가장 예쁘게 표현할 수 있는 방법으로 여러개의 항을 0과 1로만 표현할 수 있다.

• 원핫 인코딩을 만드는 방법
  1) 클래스(라벨)의 개수만큼 배열을 0으로 채운다.
  2) 각 클래스의 인덱스 위치를 정한다.
  3) 각 클래스에 해당하는 인덱스에 1을 넣는다.

❓ Softmax함수란 ?

선형 모델에서 나온 결과를 모두가 더하면 1이 되도록 만들어주는 함수로 예측의 결과를 확률로 표현하기 위함이다.

💡 Keras에서 다항 논리 회귀의 경우 categorical_crossentropy 손실 함수를 사용한다.

❓ 전처리(Preprocessing)란 ?

넓은 범위의 데이터 정제 작업으로 필요없는 데이터를 지우고 필요한 데이터만을 취하는 것,null 값이 있는 행을 삭제하는 것, 정규화(Normalization), 표준화(Standardization) 등의 많은 작업들을 포함하고 있다.

대표적인 전처리 작업으로는 '정규화'와 '표준화'가 있다.

🧩 적용 예시

🔎 부동산 데이터를 분석할때, 아래와 같은 데이터가 포함되어 있을경우 
   * 집의 넓이 (단위: 평)  
   * 준공 연도 (단위: 년)
   * 층 수 (단위: 층)
   * 가장 가까운 지하철 역과의 거리 (단위: km)

여기서 각각의 특성들이 단위가 다 다르고, 값의 범위도 차이가 클 수 있기때문에 직접적으로 비교가 불가능하다. 따라서 정규화 또는 표준화할 필요가 있다.

• 정규화
  정규화는 데이터를 0과 1사이의 범위를 가지도록 만든다.

  🔎 부동산 데이터를 분석할때, 아래와 같은 데이터가 포함되어 있을경우 
     * 실제점수:   50점/100점만점    50점/500점만점
     * 정규화점수:      0.5              0.1

이렇게 정규화를 하면 같은 50점이라도 깔끔하게 구분할 수 있다.

• 표준화
  표준화는 데이터의 분포를 정규분포로 바꿔준다. 즉 데이터의 평균이 0이 되도록하고 표준편차가 1이 되도록 만들어준다.
  일단 데이터의 평균을 0으로 만들어주면 데이터의 중심이 0에 맞춰지게되고, 표준편차를 1로 만들어주면 데이터가 예쁘게 정규화가된다. 이렇게 표준화를 시키게 되면 일반적으로 학습 속도(최저점 수렴 속도)가 빠르고, Local minima에 빠질 가능성이 적게된다.

🧩 Kaggle을 활용한 논리회귀 적용예시

🎁 자세한 이진회귀코드는 colab 에 게시했습니다.

🎁 자세한 다항회귀코드는 colab 에 게시했습니다

🌱 느낀 점

강의를 계속 들으며 실습하다보니까 코드를 적어내려가는 것이 점점 익숙해진다.
수학적으로 이해를 하려고하기보다는 개념을 알아가려고 노력하니까 코드를 작성할때 수월해진느낌이다. 주말동안 일단 강의를 1,2강 더 복습해서 확실하게 이해하고 넘어가야 나중에 점점 심화된 부분을 배울때도 이해를 잘 할수있을것 같다.