1. 선형결합

선형결합의 정의는 다음과 같다.

$V$는 벡터 공간이고, $S$는 $V$의 공집합이 아닌 부분집합이라 하자. 유한개의 벡터 $u_1, u_2, ..., u_n \in S$와 스칼라 $a_1, a_2, ..., a_n$에 대하여 다음을 만족하는 벡터 $v \in V$는 $S$의 선형결합이라 한다.

이때 v는 벡터 $v_1, v_2, ..., v_n$의 선형결합이고, $a_1, a_2, ..., a_n$은 선형결합의 계수라 한다. 위의 식을 조금 바꿔서 표시하면 우리에게 매우 익숙한 식이 된다.

즉, 단순 선형회귀식은 선형결합을 통해 이루어진 회귀식이다. 그래서 "선형"회귀식이라 한다.

이를 행렬로 나타낼 수도 있는데, 다음과 같다.

2. 가우시안 소거법

그런데 선형결합은 흔히 연립일차방정식을 표현하기 위해 많이 사용된다. 또한 연립일차방정식은 단순선형회귀의 "특별한" 해를 가지는 경우이다. 이를 좀 더 자세히 살펴보자.

벡터 (2, 6, 8) 다음과 같이 5개의 벡터와 스칼라를 이용한 선형결합을 통해 표현할 수 있다.

이를 중학교 때 배운 연립방정식 풀이를 이용해 풀어보자.

1. 우선 각 변수의 위치에 맞게 정렬해준다.
   

2. row2 = row2 - 2row1
   

3. row2 = 1/2 row2
   

4. row3 = row3 -3row2
   

5. 동일한 방식으로 $a_4$는 3행에만 남도록 처리
   

이 과정에서 만들어진 위의 연립방정식이 이상적인 형태이다. 이를 이용해 쉽게 해를 구할 수 있기 때문이다.
위의 과정을 더 풀어 해를 구하게 되면 다음과 같다.

여기서, $a_2$와 $a_5$는 다른 변수에 의해 정의되지 않는 자유변수(free variable)이다. 그러므로, $a_2 = 0 , a_5 = 0$을 대입하여 다른 계수 역시 구할 수 있다. 그 결과는 다음과 같다.

이를 이용해 본래 구하고자 했던 (2, 6, 8)을 선형결합으로 표현할 수 있는 다섯 개의 벡터를 다음과 같이 구할 수 있게 된다.
$[2, 6, 8] = -4u_1 + 0u_2 + 7u_3 + 3u_4 + 0u_5$

위와 같은 과정에서 사용할 수 있는 연산은 다음과 같은 총 세가지이다.

1. 두 방정식의 위치를 바꾼다.
2. 방정식에 0이 아닌 상수를 곱한다.
3. 상수배하여 얻은 방정식을 다른 방정식에 더한다.

우리가 이 과정을 통해 얻고자 하는 연립방정식의 형태는 다음과 같아야 한다.

즉, 다음과 같은 성질을 갖도록 의도한다.

1. 각 방정식에서 처음으로 등장하는 0이 아닌 계수는 1이다.
2. 어떤 미지수가 한 행에서 처음으로 등장하면, 다른 행에서는 그 계수가 0이다.
3. 처음 등장하는 미지수는 아래 행으로 내려갈 때마다 계단식으로 나타난다.

3. Span

만약 어떤 벡터 공간에서 해당 공간의 부분집합의 선형 결합이 해당 공간을 모두 표현할 수 있다고 생각해보자. 즉, 몇 개의 벡터의 선형결합으로 같은 벡터 공간의 모든 벡터가 표현되는 것이다. 얼마나 편리한가. 이를 스팬한다고 하는데 정확한 정의는 다음과 같다.

벡터공간 V의 공집합이 아닌 부분집합 S를 생각하자. 이때, S의 span은 S의 벡터를 사용하여 만든 일차결합의 집합이며, span(S)라고 표기한다. 만약, span(S) = V라면 S는 V를 span한다고 표현한다.

가장 쉽게 생각할 수 있는 예시는 다음과 같다.
$v_1, v_2, v_3 \in R^3$일 때, $v_1, v_2, v_3$이 다음과 같으면 해당 벡터 공간을 span하게 된다.

즉, 해당 벡터 공간의 임의의 벡터 $v$는 다음과 같이 무조건 표현된다.

이제 $a_1, a_2, a_3$를 위의 가우시안 소거법을 통해 찾으면, 우린 모든 $v$를 표현할 수 있게 되었다!

---

참고

프린키피아 블로그의 가우시안 소거법에 대한 설명