chap5. Linear regression

1. 회귀

• 회귀는 결과값이 연속된 값으로 나온다.

• 선형회귀
• 입력 변수(x)가 하나인 경우, 주어진 학습데이터와 가장 잘 맞는 직선 함수 h 찾기
• 두개의 값(기울기, y절편)을 알면 직선을 구할 수 있다.

OLS

• 행렬의 곱셈
  

  

• 역행렬
  

• 전치행렬 : 행과 열을 바꾸어 얻어낸 행렬
  

• 대칭행렬(Symmetric) : 사이즈가 같아 대각성분을 기준으로 바뀜
  

• 그외 특징(곱셈이가능하다는 전제)
  
  
  

• 모델의 성능 표현
  E=[y−f(x)] (현재값 - 예측값)
  직선에서 값이 얼마나 떨어져 있는지 확인하는 것
  

2. 통계적 회귀

(사진이 뭔가 이상하게 들어감..)

3. cost function

gradient Descent(👍)!!

미분을 통해서 costfunctiondml 최솟값을 찾는다.

• 랜덤하게 임의의 점을 선택
• 임의의 점에서 cost function을 미분( 또는 편미분 : 변수여러개) 값을 계산해서 업데이트
• 목표점의 오른쪽이라면 이전 세타에 어떤 양수를 빼서 값이 작아져 왼쪽으로 이동
• 목표점의 왼쪽이라면 음수를 빼서 오른쪽으로 이동

다변수 데이터에 대한 회귀

boston 집값 예측