[PyTorch] torch.Tensor != torch.tensor

🙄사건의 전말

자연어처리 스터디에서 torch.Tensor(n)은 1차원 n개의 값을 갖는 랜덤 실수값(garbage) 텐서를 반환한다고 배웠었다
그런데 딥러닝 과목에서 torch.tensor(n)은 0차원 n이라는 값을 갖는 스칼라 텐서를 반환하였다.

두 개가 과연 다른 것이란 말인가?? 라는 의심이 들어 구글링을 해보니 역시 다른 것이었다!
꽤 사소한 차이라 앞으로 주의할 필요가 있을 것 같아 확실히 정리해보고자 한다.

차이점

1. Class vs Function

둘 다 tensor를 만들어준다.
그러나..
torch.Tensor()는 Class , torch.tensor()는 Function이다.
pytorch.org에 들어가 보면 Tensor에 대한 여러 메소드를 볼 수 있다.

그런데... torch.tensor()를 통해서도 Transpose와 같은 메소드를 적용해볼 수 있다.

2. int 입력시

torch.Tensor는 int 입력시 float(32) 으로 변환하여 반환하며,
torch.tensor는 int 입력시 int 그대로 반환한다.

3. tensor 입력시 메모리 공간 사용의 차이

torch.Tensor는 tensor 입력시 입력 받은 데이터의 메모리 공간을 그대로 사용한다. (얕은 복사)
torch.tensor는 모든 입력 데이터를 새로운 메모리 공간으로 복사(깊은 복사) 후 사용한다.

#torch.Tensor에 tensor를 입력해보자.

original_data = torch.Tensor([1])
new_data = torch.Tensor(original_data)
print(f"original : {original_data} new : {new_data}")
 
# original data를 수정
original_data[0] = 2
print(f"original : {original_data} new : {new_data}")


>>> original : tensor([1.]) new : tensor([1.])
    original : tensor([2.]) new : tensor([2.]) #입력 데이터를 수정하니 복사한 것도 수정됨.

🔴 단, list, numpy 데이터를 입력하면 torch.tensor()와 동일하게 새로운 메모리 공간으로 복사하여 사용한다. tensor 입력만 조심하자!

# torch.torch에 tensor를 입력해보자.

original_data = torch.tensor([1])
new_data = torch.tensor(original_data)
print(f"original : {original_data} new : {new_data}")

# data를 수정하자
original_data[0] = 2
print(f"original : {original_data} new : {new_data}")

>>> original : tensor([1]) new : tensor([1])
    original : tensor([2]) new : tensor([1]) #입력 데이터를 수정해도 이미 복사를 완료하여 값이 변하지 않음

4. torch.Tensor의 랜덤 초기화 기능

아무 괄호 없이 쉼표로 차원을 구분하여 shape을 입력해주면 그에 따라서 float 형으로 랜덤하게 텐서를 초기화해준다.
그래서 주의해줘야 할 점이 torch.Tensor는 tensor로 변환될 input data로 스칼라값을 받지 않는다. 맨 앞의 사건의 전말처럼 torch.Tensor(n)을 해주면 1차원 n개의 요소를 가진 랜덤 초기화 텐서가 탄생하게 된다.
torch.Tensor를 통해 tensor를 만들어주고 싶다면..list, array 형으로 입력해주시길...

x=torch.Tensor(2,3)

print(x.type())
print(x.shape)
print(x)

>>> torch.FloatTensor
	torch.Size([2, 3])
	tensor([[1.1138e-34, 0.0000e+00, 1.0009e-34],
        	[0.0000e+00, 8.9683e-44, 0.0000e+00]])

✅ 랜덤하게 초기화한 텐서 만드는 방법은 더 여러가지가 존재한다.
1) torch.empty(m,n) == torch.Tensor(m,n) #실수범위 전체
2) torch.rand(m,n) #균등 분포 [0,1)
3) torch.randn(m,n) #표준 정규 분포 (평균이 0 이고, 표준편차가 1인 🔔 모양 그 그래프 아시죠?)

결론

어떠한 데이터를 tensor 형으로 변환하고 싶다면 되도록 torch.tensor()를 이용하도록 하자.

참고

• 책 <파이토치로 배우는 자연어 처리>
• torch.Tensor와 torch.tensor의 차이
• torch.tensor와 torch.Tensor 차이