선형대수학 (linear algebra)

• 벡터 공간, 벡터, 선형 변환, 행렬, 연립 선형 방정식 등을 연구하는 대수학의 한 분야이다.
• 현대 선형대수학은 그중에서도 벡터 공간이 주 연구 대상이다.
• 선형대수학은 자연 과학과 공학에도 널리 활용된다.

기초

기초

벡터

• 벡터 공간의 원소를 벡터라고 한다.

벡터 연산

• 두 벡터끼리의 합, 혹은 벡터와 스칼라(크기만 있고 방향성은 없는 성분) 사이의 곱이 벡터의 기본 연산이다.

벡터 공간

• 벡터의 기본 연산을 만족하는 모든 벡터의 모음을 뜻한다.

차원

• 흔히 평면을 2차원, 공간을 3차원이라고 부른다. 이때 차원을 구성하는 각각의 요소는 서로 독립적인데 이에 대한 개념을 확장한 것이 바로 선형대수학의 차원이다.

행렬

• 여러개의 숫자들을 직각형의 모양으로 한데 묶어 나타낸 성분. 벡터를 하나의 행 혹은 하나의 열로 구성된 행렬로 볼 수도 있다. 하지만 이것이 행렬의 수학적으로 엄밀한 정의는 아니다.

선형성

선형성

• 선형대수학의 선형성(linearity)이라는 성질은 직관적으로는 아래와 같은 개념에서 시작되었다.
  
  ($a_{k}는 상수를, x_{k}는 변수를 가리킨다.$)

※ 비선형(↔︎선형) : $x^n$, $sinx$, $cosx$ 등 일차함수와 같은 형태의 성질을 만족시키지 않는 함수

선형의 직관적 이해는 일차함수와 동일시해서 생각해도 좋지만, 선형의 엄밀한 의미는 일차함수보다 더 확장된다.

(정의) 정의역 $X$에서 임의의 원소 $u,v$를 치역 $Y$에 대응시키는 연산 $T$는 다음과 같은 성질을 만족시킬 때 "선형이라고 한다. 여기서 $c$는 임의의 상수이다.
(1) $T(cu) = cT(u)$
(2) $T(u+v) = T(u)+T(v)$

"선형이라는 성질은 행렬과 동전의 양면과 같은 관계를 가지고 있다. 어떤 연산이 선형이라면 그것은 행렬로 표현이 가능하며, 어떤 행렬은 반대로 어떤 선형연산으로 해석될 수 있다. 이 선형대수학의 행렬이론은 수학의 이론뿐만 아니라 물리학, 전자공학, 컴퓨터 그래픽, 기계공학 등에 널리 쓰이고 있다.

---

🤔 그래서 왜 머신러닝에 필요한데❓

데이터와 모델은 선형대수학에서 등장하는 벡터와 행렬의 형태로 표현되고, 인공지능은 그 자체로 확률적인 모델이며, 인공지능 모델을 학습시키는 데는 미분 개념이 포함된 최적화 기법이 사용된다.
인공지능 분야에서 중요한 요소 중 하나가 바로 '데이터'이다. 인공지능 모델도 학습을 하기 위해서 데이터가 필요하다. 그러나 사람의 뇌는 이미지/텍스트/음성 등 다양한 형태의 데이터를 바로 이해할 수 있지만, 컴퓨터는 그렇지 못하기 때문에 데이터를 컴퓨터가 이해할 수 있는 형태로 변환해줘야한다. 컴퓨터가 이해할 수 있는 건 '숫자'이다. 복잡한 데이터를 '숫자 하나'로 표현하는 것은 불가능하다. 그렇기 때문에 인공지능에서 데이터는 여러 숫자들이 나열된 '배열'형태로 표현된다.

• 이미지 데이터는 픽셀 값들을 포함하는 다차원 배열로 표현
• 텍스트와 음성 데이터도 전처리 과정을 거쳐서 숫자들의 배열로 표현

선형대수학을 이용하면 (연립 선형 방정식과 같이) 수학적인 상황을 쉽게 표현/해결이 가능하며, 선형대수학에서 나오는 벡터와 행렬은 프로그래밍하기에 적합한 형태이므로 사용

• 행렬은 주어진 선형 시스템에서의 효과적인 표현을 가능하게 함.
• 벡터 공간은 제한된 영역 안에서 선형사상을 표현하기에 유용함.

행렬은 인공지능에서 데이터의 공간 변환, 인공지능 최적 설계, 확률의 추출 과정에서 필수적인 도구이다. 신경망에서는 행렬의 곱셈이 기본적으로 사용된다. 신경망에서 주어진 입력과 연결강도를 곱할 때 행렬 연산에 대한 이해와 활용이 필수적이다. 벡터는 신경망의 입력으로 들어갈 데이터 사용에 필요하며, 벡터의 내적과 직교 조건, 벡터들 사이의 거리 측정 방법, 선형 변환 등에 필요하다. 신경망에서 입력과 그 사이의 연결강도를 곱하여 더하는 것은 사실상 벡터 내적의 개념을 사용한다.

출처

• wikipedia
• modulab
• naverblog