선형회귀에 대한 개인적인 고찰

선형회귀란?
머신 러닝의 목적은 실제 데이터를 바탕으로 모델을 생성하고, 다른 입력값을 넣었을 때 나오는 결과값을 예측하는 것이라고 생각합니다.
이 때 가장 직관적이고 간단한 모델은 선 형태로 이뤄진 모델일 것입니다. 주어진 데이터에 가장 적합한 직선 형태의 모델을 찾고 분석하는 방법을 선형 회귀분석이라 부른다고 생각합니다.

선형은 무엇을 의미할까?
질문을 통해 선형 회귀에서 '선형'의 의미에 대해서 다시 생각해보게 됐습니다.
선형은 직선의 성질을 가진 대상에 사용되거나 함수에서는 함수가 진행하는 모양이 직선이라는 의미로 사용됩니다. 직관적으로 일차함수와 동일하다고 볼 수 있지만 정확히는 일차함수가 더 하위의 개념이라고 볼 수 있습니다.
이 때 완전한 선형적인 시스템은 기울기만 존재하고 상수항이 없는, 원점을 지나는 함수여야 합니다. 하지만 선형함수에서 상수항 자체는 고정적인 값을 가지고, 이는 예측 가능한 부분이기 때문에 상수항을 가진다고 해서 비선형적이라고 칭하지는 않습니다.
결과적으로 일차함수는 그 함수가 원점을 지나든 지나지 않든 선형성을 가지고 있다고 말할 수 있습니다.

왜 딥러닝에서 선형회귀를 배울까?
선형회귀는 딥러닝 이전에 머신러닝에서조차 가장 기본이 되는 모델이라고 생각합니다. 그런만큼 딥러닝 및 AI 전반적인 개념에 대해서 가장 기초적이지만 가장 중요한 모델이라고 생각합니다. 단순한 예로 과거에는 단층 퍼셉트론으로 해결이 안되던 XOR문제를 다층 퍼셉트론으로 해결한 데에도 선형회귀는 문제해결의 기반이 되는 모델이었다고 생각합니다.
현재 딥러닝은 블랙박스라고 하는 해석이 불가능한 문제 해결 방식을 갖고 있습니다. 하지만 선형회귀는 어느정도 모델 결과를 해석할 수 있으며 선형회귀 뿐만 아니라 딥러닝의 기반이 되는 모델들을 학습하면 블랙박스의 내부를 엿볼수도 있지 않을까 생각합니다.

선형회귀로 어떤 데이터 또는 주제에 대한 모델을 만들 수 있을까?
선형회귀는 우리가 일반적으로 선형적인 모델로 학습시킬수 있는 데이터인 연속적인 값을 갖는 데이터 뿐만 아니라 분류문제에서도 sigmoid함수를 통해 로지스틱 회귀분석을 하는 등 OX 문제에도 사용될 수 있습니다.