Least squares approximation

최소제곱법 (Least squares approximation) 은 어떤 계의 해방정식을 근사적으로 구하는 방법이다. 관측값과 예측값의 차이 (residual) 의 제곱합을 최소화하는 방식으로 매개변수를 추정한다.

Ordinary Least Squares (OLS)

특히 linear regression 상에서 parameter를 추정하기 위한 방법이다.

$Cost(a, b) = \sum (y_i - (ax_i + b))^2$