선형대수.0 - 벡터, 행렬, 연립선형방정식

다시 공부 중...·2021년 11월 8일
선형대수책:mml
0

선형대수, linear algebra

https://mml-book.github.io/

벡터, vector

  • 선형대수는 벡터와 벡터를 다루는 규칙을 연구하는 학문
  • 벡터: 서로 더하거나, 스칼라를 곱한 결과가 같은 타입인 오브젝트를 벡터라고 할 수 있다.
    • 기하벡터: x,y\boldsymbol{x, y}가 기하벡터라면 x+y,3x\boldsymbol{x+y, 3x}도 기하벡터
    • 다항식: 3x+4y=33x + 4y = 3과 4x+5y=04x + 5y = 0을 더한 7x+9y=37x + 9y = 3도 다항식이고 3을 곱한 9x+12y=99x + 12y = 9와 12x+15y=012x+15y=0도 다항식
  • 이 책에서는 주로 n개 실수를 가진 튜플을 벡터로 다룬다. (ex. a=[123]∈R3\boldsymbol{a}=\begin{bmatrix} 1\\2\\3\\ \end{bmatrix} \in \mathbb{R}^3)

연립 선형 방정식, systems of linear equations

  • 일차 연립 방정식은 해가 없거나, 1개 있거나, 무한히 많다.
  • 기하학적으로
    • 변수가 2개인 일차 연립 방정식인 경우: 2차원 공간에 방정식 하나당 하나의 직선을 형성. 연립방정식의 해는 모든 방정식을 동시에 만족하므로 모든 방정식의 직선이 겹치는 지점이 연립방정식의 해. 모든 직선이 한점에서 교차하면 1개의 해, 일치하면 무한히 많은 해, 그렇지 않다면 해가 없다.
    • 변수가 3개라면 방정식 하나당 하나의 평면을 형성. 연립방정식의 해는 평면, 직선, 점이거나 하나도 없다.
  • 연립방정식을 간단히 표현하려면 변수의 좌항의 계수, 변수, 우항을 각각 모아 벡터를 만들고, 각 백터들을 모아서 행렬로 표현한다. 행렬곱을 해보면 연립방정식과 같음을 알 수 있다.
    • a11x1+⋯+a1nxn=b1⋮am1x1+⋯+amnxn=bm  ⟺  [a11⋯a1n⋮⋱⋮am1⋯amn][x1⋮xm]=[b1⋮bm]\begin{matrix} a_{11}x_{1} + \cdots + a_{1n}x_{n}=b_{1}\\ \vdots\\ a_{m1}x_{1} + \cdots + a_{mn}x_{n}=b_{m}\\ \end{matrix} \iff \begin{bmatrix} a_{11}&\cdots&a_{1n}\\ \vdots&\ddots&\vdots\\ a_{m1}&\cdots&a_{mn}\\ \end{bmatrix} \begin{bmatrix} x_{1} \\ \vdots \\ x_{m} \\ \end{bmatrix} = \begin{bmatrix} b_{1}\\ \vdots\\ b_{m}\\ \end{bmatrix}

행렬, matrices

  • 행렬, matrix
    • m,n∈Nm, n \in \mathbb{N} 일 때 (m, n) 행렬 = m⋅nm\cdot n - tuple (m행, n열)
    • 일단 실수 행렬만 공부하자. A=[a11⋯a1n⋮⋱⋮am1⋯amn],aij∈R\boldsymbol{A} = \begin{bmatrix} a_{11} & \cdots & a_{1n} \\ \vdots & \ddots & \vdots \\ a_{m1} & \cdots & a_{mn} \\ \end{bmatrix}, a_{ij} \in \mathbb{R}
  • Rm×n\mathbb{R}^{m\times n}: 모든 (m, n) 실수 행렬의 집합
  • (1, n) 행렬은 열벡터, (n, 1) 행렬을 행벡터라고 한다.

행렬의 합과 곱

  • 행렬의 합: 같은 위치의 원소끼리 더한다. 그래서 같은 크기의 행렬끼리만 더할 수 있다.
    • A,B∈Rm×n\boldsymbol{A, B} \in \mathbb{R}^{m\times n}
      A+B=[a11+b11⋯a1n+b1n⋮⋱⋮am1+bm1⋯amn+bmn]\boldsymbol{A+B}= \begin{bmatrix} a_{11}+b_{11} & \cdots & a_{1n}+b_{1n} \\ \vdots & \ddots & \vdots \\ a_{m1}+b_{m1} & \cdots & a_{mn}+b_{mn} \\ \end{bmatrix}
  • 행렬의 곱:
    • A∈Rm×n,B∈Rn×k\boldsymbol{A} \in \mathbb{R}^{{\color{blue}m}\times {\color{red}n}},\boldsymbol{B} \in \mathbb{R}^{{\color{red}n}\times {\color{green}k}}일 때, A⋅B=C∈Rm×k\boldsymbol{A\cdot B }=\boldsymbol{C} \in \mathbb{R}^{{\color{blue}m}\times {\color{green}k}}
      • 인접한 차원의 크기가 같아야한다.
    • C\boldsymbol{C} 의 i행, j열 성분 cijc_{ij}
      cij=∑l=1nailblj,i=1,⋯ ,m,j=1,⋯ ,kc_{ij} = \sum_{l=1}^n a_{il}b_{lj},\qquad i=1,\cdots,m, \quad j=1,\cdots,k
      • 앞의 행렬의 i행과 뒤의 행렬의 j열을 내적한다.
    • 교환법칙은 성립하지 않는다.
  • 단위행렬, identity matrix
    • 정사각 행렬 square matrix이며 주대각선 성분이 모두 1, 나머지 성분은 0인 행렬
      I2=[1001],I3=[100010001],⋯\boldsymbol{I}_{2} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \\ \end{bmatrix}, \quad \boldsymbol{I}_{3} = \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \\ \end{bmatrix}, \quad\cdots
  • 행렬의 특성: A,B,C\boldsymbol{A, B, C}가 연산에 적절한 shape를 가질 때
    • 결합법칙: A(BC)=(AB)C\boldsymbol{A(BC)=(AB)C}
    • 분배법칙: A(B+C)=AB+AC\boldsymbol{A(B+C)=AB+AC}
    • 단위 행렬과의 곱:
      A∈Rm×n\boldsymbol{A} \in \mathbb{R}^{m\times n}일 때, ImA=AIn=A\boldsymbol{I}_{m}\boldsymbol{A}=\boldsymbol{A}\boldsymbol{I}_{n}=\boldsymbol{A}

역행렬 inverse, 전치 transpose

  • 역행렬
    • 역행렬: A∈Rn×n\boldsymbol{A} \in \mathbb{R}^{n\times n}일 때, AB=In=BA\boldsymbol{AB} = \boldsymbol{I}_{n} = \boldsymbol{BA}이면 B\boldsymbol{B}는 A\boldsymbol{A}의 역행렬이다. B=A−1\boldsymbol{B} = \boldsymbol{A}^{-1}
    • 모든 행렬이 역행렬을 갖지는 않는다.
      • 역행렬이 있는 행렬: invertible, nonsingular, regular
      • 역행렬이 없는 행렬: noninvertible, singular
    • 2x2 행렬의 역행렬
      A=[abcd]∈R2×2,A′=[d−b−ca]∈R2×2\boldsymbol{A}=\begin{bmatrix}a&b\\c&d\\\end{bmatrix} \in \mathbb{R}^{2\times 2}, \quad\boldsymbol{A}'=\begin{bmatrix}d&-b\\-c&a\\\end{bmatrix} \in \mathbb{R}^{2\times 2}
      AA′=[ad−bc00ad−bc]=(ad−bc)I2\boldsymbol{AA}' = \begin{bmatrix}ad-bc&0\\0&ad-bc\\\end{bmatrix}=(ad-bc)\boldsymbol{I}_{2}
      A−1=1(ad−bc)A′=1(ad−bc)[d−b−ca]\boldsymbol{A}^{-1}=\frac{1}{(ad-bc)}\boldsymbol{A}'=\frac{1}{(ad-bc)}\begin{bmatrix}d&-b\\-c&a\\\end{bmatrix}
      • ad−bc≠0ad-bc \ne 0
      • ad−bcad-bc를 A\boldsymbol{A}의 determinant라 한다.
    • 더 큰 행렬의 역행렬을 구하는 법은 후에 배운다.
  • 전치행렬: 원소의 행과 열 인덱스를 맞바꾼 행렬
    • aij=bji\boldsymbol{a}_{ij} = \boldsymbol{b}_{ji}라면 A,B\boldsymbol{A}, \boldsymbol{B}는 서로의 전치행렬이다. A⊤=B\boldsymbol{A}^\top = \boldsymbol{B}
      A=[a11a12a21a22],A⊤=[a11a21a12a22]\boldsymbol{A}=\begin{bmatrix}a_{11}&a_{12}\\a_{21}&a_{22}\\\end{bmatrix}, \boldsymbol{A}^\top = \begin{bmatrix}a_{11}&a_{21}\\a_{12}&a_{22}\\\end{bmatrix}

역행렬과 전치행렬의 특성

  • AA−1=I=A−1A\boldsymbol{AA}^{-1} = \boldsymbol{I} = \boldsymbol{A}^{-1}\boldsymbol{A}
  • (AB)−1=B−1A−1(\boldsymbol{AB})^{-1} = \boldsymbol{B}^{-1}\boldsymbol{A}^{-1}
  • (A+B)−1≠A−1+B−1(\boldsymbol{A}+\boldsymbol{B})^{-1} \neq \boldsymbol{A}^{-1} + \boldsymbol{B}^{-1}
  • (A⊤)⊤=A(\boldsymbol{A}^\top)^\top = \boldsymbol{A}
  • (A+B)⊤=A⊤+B⊤(\boldsymbol{A}+\boldsymbol{B})^\top = \boldsymbol{A}^\top + \boldsymbol{B}^\top
  • (AB)⊤=B⊤A⊤(\boldsymbol{AB})^\top = \boldsymbol{B}^\top\boldsymbol{A}^\top

대칭행렬 symmetric matrix

  • 주 대각선을 기준으로 대칭인 행렬. A=A⊤\boldsymbol{A} = \boldsymbol{A}^\top
    A=[abcbdecef]\boldsymbol{A} = \begin{bmatrix}a & {\color{blue}b} & {\color{red}c} \\ {\color{blue}b} & d & {\color{green}e} \\ {\color{red}c} & {\color{green}e} & f\end{bmatrix}
  • A−1\boldsymbol{A}^{-1}가 존재할 때, (A⊤)−1=(A−1)⊤=A−⊤(\boldsymbol{A}^\top)^{-1}=(\boldsymbol{A}^{-1})^\top=\boldsymbol{A}^{-\top}





















profile
다시 공부 중...
인공지능, 개발 공부
이전 포스트

정말 이러다가 몇년 일 못할 것 같다.

다음 포스트

퍼셉트론

0개의 댓글