벡터

벡터의 정의

• 벡터는 숫자를 원소로 가지는 리스트(list) 또는 배열(array)

• 이 때 x를 열벡터, x^T를 행벡터라고 한다.

벡터의 성질

• 벡터는 공간에서 한 점을 나타낸다.

  • 1차원 : 수직선
  • 2차원 : 좌표평면
  • 3차원 이상에서도 공간 내의 한 점으로 표현 가능

• 벡터는 원점으로부터 상대적 위치를 표현

• 벡터에 숫자(a)를 곱해주면 길이만 변한다. (스칼라곱이라고 부른다.)

  • a > 1 : 길이가 늘어남
  • a < 1 : 길이가 줄어듦
  • a < 0 : 반대 방향이 됨

벡터의 연산

벡터끼리 같은 모양을 가지면 덧셈, 뺄셈, 성분곱(Hadamard product)을 계산 가능

벡터의 덧셈

두 벡터의 덧셈은 다른 벡터로부터 상대적 위치이동을 표현

벡터의 뺄셈

벡터의 뺄셈은 방향을 뒤집은 덧셈

벡터의 노름

• 벡터의 노름(norm)은 원점에서부터의 거리를 의미
• 임의의 차원 d에 대해 성립
• 노름의 종류에 따라 기하학적 성질이 달라짐
• 머신러닝에서는 두 종류의 노름을 전부 사용

노름의 종류

• L1-노름은 각 성분의 변화량의 절대값을 모두 더함

  • 예: Robust 학습 , Lasso 회귀

• L2-노름은 피타고라스 정리를 이용해 유클리드 거리를 계산

  • L2-노름은 np.linalg.norm을 이용해도 구현 가능
  • 예 : Laplace 근사, Ridge 회귀

두 벡터 사이의 거리 계산

• L1, L2 노름을 이용하여 두 벡터 사이의 거리를 계산 가능
• 두 벡터 사이의 거리를 계산할 때는 벡터의 뺄셈 이용
• 뺄셈을 거꾸로 해도 거리는 같다!

두 벡터 사이의 각도 계산

• 제 2 코사인 법칙에 의해 두 벡터 사이의 각도를 계산할 수 있음
• 내적(inner product)을 활용해 분자를 쉽게 계산
• 각도 계산 시에는 L2 노름만 활용 가능

내적 해석 방법

• 내적은 정사영(orthogonal projection)된 벡터의 길이와 관련 있음
• Proj(x)의 길이는 코사인법칙에 의해 ![]
• 내적은 정사영의 길이를 벡터 y의 길이만큼 조정한 값
• 내적은 두 벡터의 유사도(similarity)를 측정하는데 사용