[Regression Problem] Loss Function & Linear Regression

jayce·2024년 6월 29일

데이터 종류: 정형 데이터 vs 비정형데이터


  • 정형 데이터 : N x P, Table 데이터

  • 비정형 데이터 : Image, Text …

Machine Learning 종류


  • X : Variables, Features, Columns, 독립변수, 설명변수
    - Numerical : 연속적인 변수 (2는 1보다 크다, 변수에 대/소가 의미 있음)
    - Categorical : 이분적인 변수 (2는 1과 다름, 변수에 대/소가 의미 없음)

  • Y : Labels, 종속변수
    - Numerical : Regression, 회귀모형
    - Categorical : Classification, 분류모형

  • Algorithm = Input → Process → Output
    - Model

  • 좋은 알고리즘의 기준은 ?
    - Error가 낮은 Algorithm

Loss Function


  • Error = Variance + Bias
  • Variance: 추정 값(Algorithm Output)의 평균과 추정 값 (Algorithm Output) 들 간의 차이
  • Bias: 추정 값 (Algorithm Output) 의 평균과 참 값(True)들 간의 차이
  • Bias는 참 값과 추정 값의 거리를 의미. Variance는 추정 값들의 흩어진 정도를 의미함

Linear Regression


Simple Linear Regression

  • 독립변수 X 1개, 종속변수 Y 1개
  • error 최소화

Multi Linear Regression

  • 독립변수 X’s 2개, 종속변수 Y 1개
  • error 최소화

Why Square?

  • 추정 값과 참 값의 차이를 표현하는 방식의 차이
  • 하지만 제곱(Square)의 장점은 빠르게 문제 해결이 가능함
  • Closed Form

0개의 댓글