RuntimeError: view size is not compatible with input tensor's size and stride
(at least one dimension spans across two contiguous subspaces).
Use .reshape(...) instead.위와 같은 에러가 발생하는 경우는 torch.Tensor의 contiguous를 이용하여 해결할 수 있다. Contiguous에 대해 간단하게 알아보자.
torch.tensor의 내부 구성에 대해 자세히 살펴 보는 것은 이 포스트의 목적이 아니므로 혹시나 궁금한 분들은 다음 블로그를 참고하면 될 것 같다. Contiguous에 대해 알아보기 전에 간단하게 Tensor의 storage와 view부터 알아보자
0. torch.Tensor
모든 strided (tensor의 meta data중 하나) torch.tensor은 torch.Storage를 갖고 있다. 우리가 tensor를 생각할 때 직관적으로 어떤 3D matrix를 떠올리지만 이것을 컴퓨터로 구현하기 위해선 tensor에 들어가는 데이터를 저장하고 이 데이터를 tensor로 표현할 수 있어야한다.
이때 tensor에 들어가는 데이터를 저장하는 물리적인 데이터가 바로 torch.Storage이다.
그냥 한번에 데이터를 직관적으로 생각하는 모양 그대로 저장하면 되지 않을까 싶지만 이렇게 tensor의 표현(우리가 직관적으로 생각하는 tensor)와 실제 데이터의 저장공간(torch.Storage)을 구분하면 하나의 물리적 데이터(Storage)로 표현방법만 바꿔가면서 여러개의 tensor를 만들수 있다는 엄청난 장점이 있다.
A tensor is a view of Storage.
결국 tensor는 Storage(데이터의 저장공간)의 view(표현 방식) 이다.
0-1. Tensor storage
다음은 pytorch docs의 정의이다.
A torch._TypedStorage is a contiguous, one-dimensional array of elements of a particular torch.dtype.
Contiguous는 연속적이라는 뜻이므로,
-"Storage는 어떤 데이터 타입의 연속적인 1D array이다."
Every strided torch.Tensor contains a torch._TypedStorage, which stores all of the data that the torch.Tensor views.
-"모든 (strided)torch.Tensor는 해당 tensor가 view하는 모든 데이터를 저장하는 Storage를 가지고 있다."
아무리 간단한 torch.Tensor에도 모두 그에 해당하는 Storage가 존재하게 되고 하나의 Storage를 공유하는 여러 개의(view가 다른) torch.Tensor가 존재 할 수 있다.
#tensor의 storage 확인해보기
>>> import torch
>>> import numpy as np
>>> a = torch.tensor(np.arange(10).reshape(2,5),dtype=torch.float32)
>>> a.storage() #contiguous, one-dimensional array of elements
0.0
1.0
2.0
3.0
4.0
5.0
6.0
7.0
8.0
9.0
[torch.FloatStorage of size 10]
>>> a.storage()[0]=11 #tensor의 storage를 바꿨으므로 tensor도 바뀜
>>> a
tensor([[11., 1., 2., 3., 4.],
[ 5., 6., 7., 8., 9.]])0-2. Tensor views
어떤 storage를 바라보는 방식이 view이고, 다양한 view operations들이 존재한다. 그중 torch.Tensor.view는 어떤 존재하는 tensor의 새로운 view를 반환하는 함수이다.
이때, view operation들은 데이터를 복사해서 새로운 tensor를 반환하는게 아니라 같은 Storage를 공유하는 새로운 view의 tensor를 반환한다.
덕분에 slicing이나 reshaping, element-wise operation을 빠르고 효과적으로 수행할 수 있다.
#Storage를 공유하는 tensor 확인해보기
>>> a = torch.tensor(np.arange(10).reshape(2,5),dtype = torch.float32)
>>> b = a.view(5,2)
>>> a.storage().data_ptr() == b.storage().data_ptr()
True # a와 가 같은 storage를 공유하므로 주소가 같다
>>> b
tensor([[0., 1.],
[2., 3.],
[4., 5.],
[6., 7.],
[8., 9.]])
>>> a
tensor([[0., 1., 2., 3., 4.],
[5., 6., 7., 8., 9.]])
>>> b[4][1]=11 #같은 storage를 공유하기 때문에 b를 바꿔도 a가 바뀐다
>>> a
tensor([[ 0., 1., 2., 3., 4.],
[ 5., 6., 7., 8., 11.]])
여러가지 view operation이 존재한다.
Basic slicing and indexing op,
e.g. tensor[0, 2:, 1:7:2] returns a view of base tensor
adjoint()
as_strided()
detach()
diagonal()
expand()
expand_as()
movedim()
narrow()
permute()
select()
squeeze()
transpose()
t()
T
H
mT
mH
real
imag
view_as_real()
unflatten()
unfold()
unsqueeze()
view()
view_as()
unbind()
split()
hsplit()
vsplit()
tensor_split()
split_with_sizes()
swapaxes()
swapdims()
chunk()
indices() (sparse tensor only)
values() (sparse tensor only)1. Contiguous tensors
Contiguous는 연속적이라는 뜻이므로 contiguous tensor는 연속적인 tensor라는 뜻이다. 이는 stride라는 개념을 이해해야 하는데 stride에 대한 자세한 설명은 다음 포스트에서 하도록 하고 여기서는 간단하게 짚고 넘어가 보자.
앞서 말했듯이 storage는 기본적으로 contiguous하다. 이런 contiguous한 storage를 우리가 어떤 tensor로 view할 때, 해당 tensor의 view에 따라 contiguous할 수 있고 non-contiguous할 수 있다.
그렇기 때문에 view operation을 수행 할 때는 반환되는 tensor가 contiguous한지 non-contiguous한지 확인해 봐야한다.
1-1. is_contiguous()
어떤 tensor가 연속적인지 아닌지는 is_contiguous함수를 사용해 확인해 볼 수 있다.
#contiguousness확인해 보기
>>> a = torch.tensor(np.arange(10).reshape(2,5),dtype = torch.float32)
>>> a.is_contiguous() #contiguous한 tensor에 view op 적용해보기
True
>>> b = a.transpose(0,1) #non-contiguous한 tensor 반환
>>> b.is_contiguous()
False
>>> c=a.view(5,2) #contiguous한 tensor 반환
>>> c.is_contiguous()
True
1-2. Why check?
view operation에 따라 non-contiguous tensor또는 contiguous tensor를 반환할 수 있다는 것을 살펴봤다.
❓ 근데 왜 이것을 확인해 봐야 할까?
만약 non-contiguous한 tensor에 view operation을 하게되면 다음과 같은 오류가 발생한다.
>>> a
tensor([[0., 1., 2., 3., 4.],
[5., 6., 7., 8., 9.]])
>>> b = a.transpose(0,1)
>>> b
tensor([[0., 5.],
[1., 6.],
[2., 7.],
[3., 8.],
[4., 9.]])
>>> b.is_contiguous()
False
>>> c = b.view(2,5) #non-contiguous tensor에 view operation
Traceback (most recent call last): #오류가 발생한다
File "<stdin>", line 1, in <module>
RuntimeError: view size is not compatible with input tensor's size and stride
(at least one dimension spans across two contiguous subspaces).
Use .reshape(...) instead.✅ non-contiguous tensor에는 view operation을 적용할 수 없는 반면 contiguous tensor에는 view operation을 마음껏 적용할 수 있다.
>>> a
tensor([[0., 1., 2., 3., 4.],
[5., 6., 7., 8., 9.]])
>>> c = a.view(5,2)
>>> c
tensor([[0., 1.],
[2., 3.],
[4., 5.],
[6., 7.],
[8., 9.]])
>>> c.is_contiguous()
True
>>> d = c.transpose(0,1) #contiguous tensor에 view operation
>>> d #오류 없이 적용된다
tensor([[0., 2., 4., 6., 8.],
[1., 3., 5., 7., 9.]])
1-3. contiguous()
non-contiguous tensor에는 view operation을 적용할 수 없기에 이를 contiguous tensor로 만들어주는 주어야 한다.
이때 contiguous tensor를 반환해주는 Tensor.contiguous() 함수를 사용한다.
>>> a
tensor([[0., 1., 2., 3., 4.],
[5., 6., 7., 8., 9.]])
>>> b = a.transpose(0,1)
>>> b.is_contiguous()
False
>>> b_c = b.contiguous() #non-contiguous tensor를 받아
>>> b_c.is_contiguous() #contiguous tensor를 반환
True
>>> b.storage().data_ptr == b_c.storage().data_ptr()
False #storage를 공유하지 않음
>>> b_c.view(2,5) #contiguous tensor로 바꿔준 후 view operation적용
tensor([[0., 5., 1., 6., 2.],
[7., 3., 8., 4., 9.]])
contiguous() 함수는 view operation처럼 storage를 공유하는 tensor를 반환하지 않고 데이터를 복사하여 새로운 storage를 만들어 새로운 storage를 view하는 contiguous tensor를 반환해준다.
이때, 만약 contiguous tensor를 input하면 self를 반환한다.
torch.tensor에의 storage와 view에 대해 간단히 알아보고 왜 view operation을 사용할 때 반환되는 tensor의 contiguousness를 확인해야 하는지 알아 보았다. 그리고 non-contiguous tensor에 view operation을 사용하기 위해 contiguous tensor로 바꾸는 방법도 알아보았다.
contiguous tensor에 대해 완벽하게 이해하기 위해선 tensor의 내부 구조를 이해하고 stride를 이해해야 하는데 이는 다음 포스트에서 알아보도록 하자.
