Dot product, Inner product 그리고 element-wise

선형대수를 공부하는데, 갑자기 Dot product, Inner product 그리고 element-wise가 헷갈려 정리한다.

Element-wise product (요소별 곱)

이건 가장 기본이 되는 연산으로, 같은 위치의 원소끼리 곱한다.
중요한건, 결과는 같은 크기의 벡터/행렬인 것이다.
$a = [1, 2, 3], b = [4, 5, 6]$
$a \odot b = [1\times 4, 2\times 5, 3\times 6] = [4, 10, 18]$

Dot product

Dot product는 내적의 한 종류로, 스칼라를 변환한다.
Element-wise 곱을 한 다음 다 더한다. 결과는 스칼라가 나온다.

$a \cdot b = 1 \times 4 + 2\times 5 + 3\times 6 = 4 + 10 + 18 = 32$

Dot product는 벡터끼리의 연산이고, 항상 스칼라가 나온다.

Inner product

Inner product 또한 내적으로, Dot product의 일반화 버전이라고 보면 된다.
Inner product의 특수한 경우로, Inner product는 더 넓은 개념으로, 두 가지 조건만 만족하면 무엇이든 내적이 될 수 있다:

• 양수성: $\langle a, a \rangle \geq 0$
• 대칭성, 선형성 등 몇 가지 성질

예를 들어, 함수 공간에서의 내적은 이렇게 정의된다.

$\langle f, g \rangle = \int f(x) g(x)\, dx$

이건 벡터도 아니고, "곱해서 더한다"는 형태도 다르지만, 내적의 성질을 만족하기 때문에 inner product이다.

결론: Dot product ⊂ Inner product (도트곱은 내적의 특수 케이스), Element-wise는 내적이 아니고 중간 과정에 가깝다.