선형대수학은 선형함수에 대한 대수학으로 Linear에 대한 정의는 다음과 같다,
1. L(cx)=cL(x)
2. L(x+y)=L(x)+L(y)
위 두조건을 만족할 시에 선형성을 가진다고 하며 regression 에서는 조금 다른 정의를 가지는데 이는 다음과 같다. 행렬 a와 p의 결합으로 벡터 q가 만들어진다고 했을때 벡터 p가 Linear하다면 벡터q는 Linear하다. 예를 들어보면 이차함수 ax^2+bx+c에서 우리에게 x는 중요하지 않다. 기본적으로 행렬의 형태를 띄는 input값이며 regression에서 중요한 것은 a,b,c의 값이다. ax^2+bx+c을 행렬과 벡터의 관점에서 바라보면 행렬a [x1^2,x2,1;x2^2,x2,1;……]와 벡터 [a,b,c]의 결합으로 만들어진 식이다. 앞서 말했듯이 행렬 a의 상태는 우리의 관심사가 아니다. 벡터의 형태가 linear하다면 ax^2+bx+c또한 linear하다. 조금 더 이어서 생각해 보면 abx+c는 linear은 선형일까? 그래프의 형태로 보았을 때는 틀림없이 직선의 형태를 띈다. 하지만 행렬과 벡터의 결합관점에서 해석해보면 ab는 linear을 만족하지 않으므로 abx+c또한 linear하지 않는다.위와 같이 기하학적인 선형과 regression에서 말하는 선형의 의미는 다르다. 일반적으로 3차함수, 4차함수는 선형적이지 않다 말하지만 위의 정의를 바탕으로 해석했을 때는 linear하다. 같은 맥학으로 a^2x와 abx와 같은 형태의 식은 그래프상으로 linear하지만 regression에서는 무의미하다.
가산성과 동질성에 대해 조금 더 살펴보자 1번식을 만족할 때 동질성,Homogeneity을 만족한다고 하며 2번식을 만족할 때 가산성 ,Additivity하다고 한다. 선형대수학에서 정의하는 선형성을 보면 regression과 같이 기존의 linear 함수라고 생각했던 것들이 linear하지 않다는 것을 깨닫게 된다. f(x)=ax+b라고 해보자 1번의 정리에 대입하면 f(tx)=tax+b=tf(x)이며 tf(x)=tax+bt이므로 Homogeneity를 만족하지 못한다. 왜 이렇게 정의되었을까?(사실 잘 모르겠다) Homogeneity와 additivity를 만족할 때 즉 linear할 때 우리는 input에 대한 outpt의 예측을 할 수 있게 된다. 임의의 input과 output값에 대해 알고있을 시에 input data에 곱과 합 연산을 적용하여 만들 수 있는 데이터를 집어 넣는다면 우리는 output에 해당하는 데이터 값을 추측할 수 있게 된다.
