Machine Learning (3) - 선형의 의미

선형의 의미

선형 관계

선형 관계는 독립변수와 종속변수 사이의 관계가 일정한 비율로 변하는 것을 의미한다. 예를 들어, 과자(가격 1,500원)와 우유(1,200원)를 사기 위해 마트에서 장을 볼 때 전체 구매 비용(TotalCost)은 다음과 같은 관계를 만족한다:

[ $\text{TotalCost} = \text{num과자} \times 1500 + \text{num우유} \times 1200$ ]

여기서 과자와 우유의 수가 독립변수, 각각의 가격이 파라미터이며, 전체 비용이 종속변수에 해당한다. 이러한 관계를 선형 관계라고 한다.

---

선형 결합과 선형 모델

파라미터들이 실수(혹은 벡터)와 가중합(곱하기와 더하기)으로 표현된 것을 선형 결합이라고 한다. 이를 일반적으로 다음과 같이 표현할 수 있다:

[ $w_1 x_1 + w_2 x_2 + \cdots + w_n x_n$]

여기서 ($x_1, x_2, \ldots, x_n$)은 독립변수 혹은 특징(feature)을 의미하고, ($w_1, w_2, \ldots, w_n$)은 찾아내야 하는 파라미터를 의미한다. 이러한 선형 결합으로 종속변수의 값을 표현할 수 있을 때 이를 선형 모델이라고 한다.

[ $y = w_1 x_1 + w_2 x_2 + \cdots + w_n x_n$ ]

이 선형 모델을 그래프로 표현하면, 2차원에서는 직선, 3차원에서는 평면, 4차원 이상에서는 초평면(Hyper-plane)이라고 한다.

---

선형과 비선형의 구분

종속변수가 파라미터에 대해 선형적인지 비선형적인지에 따라 선형 모델과 비선형 모델로 구분된다. 예를 들어, 아래 식은 선형일까 비선형일까?

[ $y = ax_1^2 + bx_1 + cx_2 + d$ ]

정답은 관점에 따라 다르다. 파라미터 (a)가 종속변수에 미치는 영향을 볼 때, ($x_1^2$)를 새로운 변수 ($z$)로 치환한다면, 이는 선형 모델로 볼 수 있다.

하지만 변수 ($x_1$)의 입장에서 본다면, 이는 비선형 모델로 볼 수 있다. 따라서, 파라미터가 종속변수에 미치는 영향이 선형적이라는 가정 하에 선형 모델을 많이 사용한다.

---

선형 모델의 학습

종속 변수가 어떠한 값을 가지려면, 파라미터의 값이 설정되어야 한다. 그리고 잘 학습된 모델은, 파라미터의 적절한 값을 찾아야 한다. 적절한 상태란,

• $Loss$를 줄이는 최적의 상태
• 또는 성능이 제일 높은 상태
• etc

적절한 값을 찾아야 하는 변수라는 의미로 파라미터(parameter) 라고 부른다. 파라미터는 결국 여러 데이터를 바탕으로 최적의 값을 찾아가야 한다.

---