텐서의 개념

텐서는 스칼라(0차원), 벡터(1차원), 행렬(2차원)를 일반화한 n차원 배열이다.

⇒ 다차원 공간에서 데이터(정보) 를 나타내는 구조화된 객체

• 0차원 텐서: 스칼라 (예: 단일 숫자 5)
• 1차원 텐서: 벡터 (예: [1,2,3])
• 2차원 텐서: 행렬 (예: [1, 2], [3, 4])
• 3차원 이상 텐서: 다차원 배열 (예: 영상 데이터)

---

텐서의 기초

1. W를 통과해도 정보는 보존됨

어떤 정보를 표현하는 텐서가 웨이트(가중치) 를 통과하더라도 원래 정보를 유지한다.
즉, 웨이트와의 연산 후에도 본래의 데이터 구조와 의미가 보존된다.

---

2. Weighted Sum (가중치 합)

weighted sum이란, 각 정보에 특정한 웨이트(가중치) 를 곱한 후 이를 모두 더한 값을 의미한다.
단순한 합산이 아니라, 각각의 값이 가지는 중요도나 영향을 조절하기 위해 가중치를 부여하는 방식이다.

예제 그림

⇒ 특정 웨이트 값이 크다는 것은 해당 정보가 많이 반영된다는 의미이다.
⇒ 총합이 1일 때, 특정 정보가 많이 반영되면 나머지 정보는 상대적으로 덜 반영된다.

---

3. Inner Product (내적)

두 벡터가 있을 때, 같은 차원의 숫자끼리 곱한 후 이를 모두 더하면 내적이 된다.

⇒ 서로 연관된 정보들끼리는 내적 결과 값이 크고, 관련 없는 정보들끼리는 값이 작다.

예제 그림

값이 크다 → 두 정보가 비슷하다.

값이 작다 → 두 정보가 다르다.

---

4. 텐서 연산 개념 정리

1. 총 x → Wx : x 정보가 남는다.
2. weighted sum : 정보가 혼합된다.
3. 내적 : 정보 간의 유사도를 측정한다.

---

위 내용을 통해 텐서의 개념과 연산 방식이 어떻게 동작하는지 보다 직관적으로 이해할 수 있다.