mathematics for machine learning ch2 (wip)

ys10·2026년 9월 7일
post-thumbnail

개념 정리

2.0

  1. Geometric vectors, Polynominals (다항식), audio signal 등도 벡터가 될 수 있어

  2. R^n = 실수 n개로 이러워진 벡터들의 집합.

    이 R^n 들끼리 더할 때, 같은 순서들끼리 더한다. 이게 component-wise 이다.

  3. closure = 연산을 해도 그 결과가 집합에 남는 성질 (자연수 / 실수 등에 대하여)

2.1 Systems of Linear Equations (연립선형방정식)

= 여러 선형방정식을 동시에 만족하는 미지수를 찾는 문제이다. 아래가 그 예시이다.

여기서, 첫 예시는 해가 없으며, 둘 째 예시는 1,1,1로 해가 나온다. 셋 째 예시는 해가

로 자유변수가 생김에 따라 해가 무한대로 많다.

그래프로 표현하자면, 한 점에서 만나면 해가 하나 인 것이고, 안 만나면 해가 없는 것,
겹치면 해가 무한대인 것이다.

즉 연립선형방정식은
여러 선이나 평면이 어디에서 만나는가?
를 찾는 문제이다.

그리고 이걸 표현해보자면

이렇게 될 것이고, 이는 아래와 같이 matmul로 표현될 수 있다.

Matrices

Matrix Addition & Multiplication

메트릭스는

Matrix Addition & Multiplication은

이 정의되어 있을 때,

로 표현될 수 있다.

덧셈은 당연하게, 메트릭스의 크기가 같을 때, 가능하며
곱셈은, A의 행과 B의 열을 곱해서 결과의 1칸을 얻어낸다.
-> A의 열과 B의 행의 크기가 일치해야한다.

Identity Matrix 단위행렬

대각선으로 1이 되어있는 행렬로

이렇게 생겼으며, 뭘 곱해도 그대로 튀어나온다는 특징이 있다. (물론 차원은 맞춰줘야함) / 숫자 1 같은 역할


또한
Associativity (겹합법칙) 및 Distributivity (분배법칙)이 성립한다.
그런데 교환법칙은 성립안함.

Inverse & Transpose 역행렬, 전치행렬

역행렬은 곱해서 Identity matrix가 되는 거고, 전치행렬은 행과 열을 뒤바꾼 것

-> 역행렬이 존재하는 행렬과 존재하지 않는 행렬이 있다.

전치행렬 :

A= n x m, B= m x n 일 때, b_ij = a_ji 면 트랜스포스라고 하고 T를 붙인다.

대칭행렬

전치해도 그대로인 행렬. 주 대각선을 기준으로 거울과 같은 상태이다. 대칭행렬은 반드시 정사각행렬이어야 함.

Multiplication by a Scalar

벡터 곱하기 스칼라이고,

분배법칙, 전치하고 해도 추후에 전치하는거랑 일치하고~ 다 똑같다.

2.3 Solving Systems of Linear Equations

Particular and General Solution

여기에 대해서 가장 쉬운 해를 구해보자. [42,8,0,0]^T 가 그것이고,

여기서, 첫 애가 c3고, 8이랑 곱한게 c1, 2랑 곱한게 c2 해보자


얘네들도 각 그거에 대해서 해주면 끝~~~

그럼 이게 일반해다.

  1. Find a particular solution to Ax= b.
  2. Find all solutions to Ax= 0.
  3. Combine the solutions from steps 1. and 2. to the general solution.

gausian elemination

가우스 소거법을 계속 사용해 staircase 모양으로 만들면 Row-Echelon Form(행 사다리꼴 형태) 형태로 만들 수 있다.

왜 staircase 형태라면

pivot= 각 행에서 왼쪽에서 처음 나오는 nonzero number이다.
그리고 피벗이 있는 열에 해당하는 변수는 basic variable = 기본변수, 피벗이 없는 열의 변수는 free variable = 자유변수이다.

이게 REF이고,

REF, RREF

RREF는 좀 더 빡세다 조건이

REF여야하고, 피벗이 1이여야하고 해당 열에서 1을 제외한 애들이 0이여야함.

minus 1 trick

여기서, -1을 추가하는거다.

쉽게 계산하는법.

역행렬 구하기

그냥 이대로 하면 된다. 첨가행렬을 indentity 행렬로 붙여주고 그 다음에 계산하면 역행렬이 구해진다.

Vector Spaces

벡터공간: 백터들이 사는 공간이다. R^2이면 2개의 원소를 지닌 백터여야한다.
이 공간 사이에 벡터들끼리는 더하거나 곱해도 가능함.

Groups

그룹이 되기 위한 조건은 4가지가 있다.
1. 그룹에 대해 닫혀있어야하고 (Closure)
2. 결합법칙이 되야하고 (Associativity)
3. 어떠한 원소가 항등원(neutral element)이여야한다. (덧셈은 0 곱셈은 1)
4. 역원(Inverse element)이 있다. -> 연산을 해서 항등원이 나오게 하는 element

아벨군 : 교환법칙까지 가능한 군이다.
-> 덧셈은 일반적으로 아벨군이며, 행렬곱은 일반적으로 그렇지 않다.


한번 쭉 읽어보자

  • General Linear Group은 행렬곱에서 invertible matrix(역이 있는 메트릭스)이다.

부분공간:
두 가지 조건이 있다.
1. 0벡터를 포함할 것
2. 부분공간 내의 벡터들끼리 더해도 그대로일것
스칼라를 곱해도 그대로일것

-> 즉 원점을 지나지 않는 직선은 보통 부분공간이 아니다.

즉 Ax=0 의 모든 해의 집합은 항상 부분공간이다.

그럼 Ax=b,
b=/0
의 해 집합은 일반적으로 부분공간이 아니다.

2.5 선형 독립

선형 결합

= 벡터에 스칼라가 곱해지고, 걔네를 더한 것.

스칼라 × 벡터 + 스칼라 × 벡터 = v
이런 느낌

근데

이렇게 모든 스칼라가 0이여야지 선형결합의 값이 0이라면 그게 선형독립이다.

근데 0이 아닌 스칼라가 있으면 선형종속이다.

선형독립 = 벡터들 사이에 중복 정보가 없다는 뜻이다

중요한게
만약 한 벡터가 다른 벡터들의 선형결합으로 표현되면, 그 집합은 선형종속이다.
-> 0이 아닌데 가능하니까~

가우스 소거법으로 선형독립을 확인하는법

모든 열이 pivot column이면 선형독립 -> 자유변수가 없음.
자유변수: 피봇이 없는 열의 변수

non-pivot 열이 하나라도 있으면 선형종속에 해당된다.

2.6 Basis & Rank

Generating Set & Bais

생성집합(Generating Set):

모든 벡터 공간의 벡터들이 전부 x_1,...,x_k 의 선형 결합으로 표현될 수 있다면, 그 x_1,...,x_k 를 벡터공간 V의 생성공간 (Generating Set)라고 부른다.

기저(Basis):

기저는 생성집합이면서 선형독립인 최소의 집합이다.
-> 공간을 표현할 수 있으면서 중복되지 않는 벡터들의 집합.

그리고 기저의 성질이 있는데,
스칼라를 곱해서 모든 벡터를 표현할 수 있다고 했잖아? 그 스칼라의 조합이 벡터들에 대해서 유일함.

Rank

Rank = 선형독립인 행/열의 개수 -> 행, 열의 개수는 같다.

위는 랭크의 성질이며,
일단 봐보면 될듯.

2.7 Linear Mappings

그냥 함수인듯

이런 구조가 유지되며, Ax+b 형태는 안된다. ![](https://velog.velcdn.com/images/ys10/post/d37b1e92-4838-4255-adf0-975e02c8b32d/image.png) 이 책에서는 선형사상을 다음 세 가지로 나누는데, 한국어로는 단사, 전사, 전단사이다.

Injective부터 설명하자면, 매핑을 통과한 결과가 같다면, x=y 라는 뜻이다. 만약 x^2이 매핑이라면, 1 / -1 의 값이 같아질테니까 Injective가 아니다.

Surjective 는 Φ(V) = W 라는 건데 매핑을 통과한 모든 값들이 W 안에 있어야한다.

Bijectives는 전단사. 둘 다 만족하는 것이다.
그리고 Bijectives 이면, 역함수가 무조건 있다.


문제풀이

2.1

a

-> 아벨군의 조건은 닫힘 + 결합법칙 + 항등원 + 역원 + 교환법칙 성립이다. 이는 군(Group) 조건 + 교환법칙 성립임.

| a,b∈R{−1}
의 의미는 a,b는 실수인데, -1은 제외한다는 의미이다.

아무튼,

닫힘

: 계산을 했을 때 그 결과도 집합에 남아있어야함.

그러므로, ab + a + b = -1 이 성립 안하면 닫힘이 증명이 된다.
계산하면 (a+1)(b+1) = 0 이므로 a or b = -1 이여야하고 불가하기에 닫힘이다.

결합법칙 성립

(a⋆b)⋆c=a⋆(b⋆c) 이여야한다.
-> 전개하면 abc+ab+ac+bc+a+b+c 로 양변이 같다.

항등원

항등원은 a⋆e=a 이여야한다.
-> a + e + ae = a -> e가 0일 때 성립한다.

역원

역원의 정의 : 어떤 원소와 곱했을 때 항등원이 나오게 하는 원소

항등원이 0 이니까, a * y = 0 이 성립해야한다.
y에 대해 정리하면, y(a+1) = -a 이고, -> y = -a/(a+1) 이다. a /= -1이라 모든 a 에 대해 역이 있다.

교환법칙

a b = b a 인지 보면 된다. -> 같음

b)

그냥 풀어 정리하면, x = 3, 1 이다. -1이 없으므로 해당 아벨군에 속한다.

2.2

식만 이해하면 쉽다.

a)

군이다. ⊕ 이 결국 더하고 n으로 나누는 것이다.
닫혀있고, 결합 성립하고, 항등원은 0으로 있고, 역원도 더해서 n이랑 같아지게 하면 되니까 무조건 있다.
교환도 성립한다 -> 덧셈이니까 아벨리안이다.

b)

0은 제외하니까 곱셈 표를 그려보면

이렇게 된다.
이는 아벨군이다. -> 곱셈에서의 항등원은 1이고, 전부 1이 되게 할 수 있으니,

역원은 1이 되게 하는 애들.

c)

8은 2, 4의 곱에서 0이 나와버려서 그룹이 아니다.

d)

소수일 때만 존재하는 이유는. 곱해서 n 자기 자신이 나오면 0이 나와버려 그룹이 아니게 되는데, 소수가 아닌 이상 자기 밑의 정수들을 곱해서 자기가 나올 수 밖에 없기가 때문이다.

2.3

이걸 행렬 곱으로 정리해보면

| 1 | x1 + x2 | z1 + z2 + x1 * y2 |
| 0 | 1 | y1+ y2 |
| 0 | 0 | 1 |
이다 .

이건 뭘 해도 그룹 안에 있기 때문에 닫혀있고,
결합법칙도 성립하고 -> 곱하는거니까
항등원은 단위행렬이다. -> x, y, z 가 0일 때 나옴. 가능하고
역원은

이 형태로 곱해주면 단위행렬이 나온다. 그러므로 그룹이다.

하지만 아벨리안은 아니다. x1 * y2 형태가 바뀌어버리기에 다른 값이 나온다.

2.4

행렬곱 구하기인데 넘어가겠다.

2.5

a)

대충 이런식으로 하나씩 0으로 만들어주면 되고, 이렇게 했을 때, 마지막줄이 모순이다

b)

똑같이 하면 되는데,

일 때, 1을 피봇으로 쓰기 위해서 Row1, Row2 를 바꿔준다.

그럼,

이렇게 나오는데, 이 때, X3, X5가 자유변수이기에,
X3= β, X5=α 로 잡으면

이렇게 나온다.

2.6

profile
hyu infosys24

0개의 댓글