[Deep Learning] Tensor

📖 케라스 창시자에게 배우는 딥러닝 (프랑소와 숄레, 박해선, 길벗) 참고

🍓 Tensor?

Tensor는 Neural Network 학습의 기본 데이터 단위이다. Numeric(수치형) 데이터를 담기 위한 Container이다. 텐서는 임의의 차원 혹은 Rank(축)을 가진다.

0D Tensor (Scalar)

하나의 숫자만 담고 있는 텐서를 0D Tensor, 스칼라라고 한다. 스칼라 텐서는 축이 0개이다.

>>> x = np.array(7)
>>> x.ndim
0

1D Tensor (Vector)

1D Tensor, 벡터는 숫자의 배열을 의미한다. 벡터는 1개의 축을 가진다.

>>> x = np.array([1, 2, 3, 4, 5])
>>> x.ndim
1

위의 벡터는 5개의 원소를 가지고 있기 때문에 5D 벡터, 5차원 벡터라고 할 수 있다. 5D 텐서와 헷갈리지 말자

2D Tensor (Matrix)

2D Tensor, 행렬은 벡터의 배열이다. 2개의 축을 가지고 있고 row(행)와 column(열)이라고 부른다.

>>> x = np.array([[1, 3, 5, 7, 9],
		  [2, 4, 6, 8, 10],
          	  [11, 12, 13, 14, 15]])
>>> x.ndim
2

3D Tensor

행렬을 하나의 배열로 합친 것이 3D Tensor이다.

>>> x = np.array([[[1, 2, 3, 4, 5],
		   [6, 7, 8, 9, 10],
                   [11, 12, 13, 14, 15]],
                  [[21, 22, 23, 24, 25],
                   [26, 27, 28, 29, 30],
                   [31, 32, 33, 34, 35]],
                  [[41, 42, 43, 44, 45],
                   [46, 47, 48, 49, 50],
                   [51, 52, 53, 54, 55]]])
>>> x.ndim
3

3D Tensor를 하나의 배열로 합치면 4D Tensor가 되고, 4D Tensor를 다시 하나의 배열로 합치면 5D Tensor가 된다.

🍓 Tensor 연산

원소별 연산

for i in range(x.shape[0]):
    for j in range(x.shape[1]):
        x[i, j] += y[i, j]

# 원소별 덧셈
z = x + y

브로드캐스팅

작은 텐서가 큰 텐서의 크기에 맞추어지는 것

1. 큰 텐서의 ndim에 맞도록 작은 텐서에 축 추가
2. 작은 텐서가 새 축을 따라서 큰 텐서의 크기에 맞도록 반복

# x는 2D 넘파이 배열
# y는 넘파이 배열
for i in range(x.shape[0]):
    for j in range(x.shape[1]):
        x[i, j] += y[j]

텐서 점곱(dot operation)

import numpy as np
z = np.dot(x, y)

텐서 크기 변환

특정 크기에 맞게 열과 행을 재배열

x = x.reshape(1, 2)

행과 열을 바꾸는 전치(transposition)

x = np.transpose(x)