PyTorch - 2. Datasets & Dataloader

📜 PyTorch Datasets & Dataloader 이해

깃허브 코드

데이터를 편리하게 다루기 위하여 모델 부분과 독립시켜서 다뤄야함
PyTorch는 사용자가 구축한 데이터와 미리 만들어진 데이터를 사용가능하도록 primitives(기초요소)를 제공함

1. torch.utils.data.Dataset

• Dataset은 샘플과 해당 레이블을 저장
• 해당 라이브러리를 상속받아서 데이터세트 클래스정의함

2. torch.utils.data.DataLoader

• DataLoader는 샘플에 쉽게 액세스할 수 있도록 Dataset 주위에 iterable을 래핑

📕 알아야 할 함수

📖 torchvision.datasets

사전 생성된 데이터세트 가져올 시 사용

training_data = datasets.FashionMNIST(
    root="data", # train과 test데이터가 저장된 경로
    train=True, # 학습인지 테스트인지 명시
    download=True, # root 경로에서 불러와지지 않을경우 
				   # 인터넷에서 다운로드해올것인지?
    transform=transforms.ToTensor() # feature와 label 전처리 필요사항 명시
)

📖 torchvision.transforms

데이터 (이미지전용) 전처리 모듈 모음

1. Compose

• 데이터전처리과정 여러개일때 묶어서 사용

2. ToTensor()

• PIL이미지 or Numpy 배열 --> Tensor 형식으로 변환
• "H x W x C" → "C x H x W"
• 스케일링도 되어 0~1 로 변환된다. (항상되는것은아님)
• numpy 경우 dtype = np.uint8 일경우만 스케일링됨
• 자세한 사항은 Document 참고

3. Normalize(mean, std, inplace=False)

• 정규화수행 (평균,표준편차,대체여부)

4. ToPILImage()

• csv 파일로 데이터셋을 받을 경우, PIL image로 변환

5. Resize((300, 300))

• 이미지 사이즈변환

6. RandomHorizontalFlip(p = 확률값기입)

• 이미지 좌우대칭 ( p의 default 값 0.5 )

메소드 너무많음.. Document 참고

📖 torch.utils.data.DataLoader

생성된 데이터세트 클래스가 담긴 객체를 입력으로 받아서, 데이터를 iterable하게 Load 할 수 있도록 함

# 1. 사전 생성된 데이터세트 클래스 사용시
from torchvision import datasets
import torchvision.transforms as transforms
from torch.utils.data import DataLoader

train_dataset = datasets.FashionMNIST(
    root="data",
    train=True, 
    download=True,
    transform=transforms.ToTensor()
)

train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)

# 2. 사용자가 정의한 데이터세트 클래스 사용시
from torch.utils.data import Dataset
import torchvision.transforms as transforms
from torch.utils.data import DataLoader

class CustomDataset(Dataset):
	'''
    '''
    return 
    
train_dataset = CustomDataset(train_path,
                              transform=transforms.Compose([transforms.ToTensor()]))
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)

📖 torch.randint(길이,size=(a,b))

• 길이만큼 (a,b) shape의 형태로 랜덤한 정수 리턴
• .item으로 내부값을 뽑아낼 수 있음

x = torch.randint(len(training_data),size=(1,))

print(x)
print(x.item())

> tensor([12491])
> 12491

📕 사전 생성된 데이터 사용

1. dataset 클래스가 담긴 객체생성
2. dataloader를 담은 객체생성

from torchvision import datasets
import torchvision.transforms as transforms

# 1. dataset 클래스가 담긴 객체 생성
training_data = datasets.FashionMNIST(
    root="data", # train과 test데이터가 저장된 경로
    train=True, # 학습인지 테스트인지 명시
    download=True, # root 경로에서 불러와지지 않을경우 인터넷에서 다운로드해올것인지?
    transform=transforms.ToTensor() # feature와 label 전처리 필요사항 명시
)
test_data = datasets.FashionMNIST(
    root="data", # train과 test데이터가 저장된 경로
    train=False, # 학습인지 테스트인지 명시
    download=True, # root 경로에서 불러와지지 않을경우 인터넷에서 다운로드해올것인지?
    transform=transforms.ToTensor() # feature와 label 전처리 필요사항 명시
)

# 2. DataLoader를 담은 객체 생성
from torch.utils.data import DataLoader
train_dataloader = DataLoader(training_data, batch_size=64, shuffle=True)
test_dataloader = DataLoader(test_data, batch_size=64, shuffle=True)

# 3. iterable 함으로, 데이터 한개 가져와서 플로팅
input, output = next(iter(train_dataloader))
idx = 0
img = input[idx].squeeze()
label = output[idx]
plt.figure(figsize=[2,2])
plt.imshow(img, cmap="gray")
plt.show()
print(f"Label: {label}")

📕 사용자정의 데이터세트 사용

1. dataset 클래스 생성
2. dataset 클래스가 담긴 객체생성
3. dataloader를 담은 객체생성

from torch.utils.data import Dataset

# 1. 데이터세트 클래스 생성
class CustomDataset(Dataset):
    
    # 객체생성시 한번실행
    # 데이터경로와 transform 정의 등..
    def __init__(self, data_path, transform=None, target_transform=None):
        
        data = pd.read_csv(data_path)
        Y_data = data['label']
        Y_data = np.array(Y_data)
        X_data = data.drop(columns='label',axis=1)
        X_data = np.array(X_data).reshape(-1,28,28,1).astype('float32')
        self.X_data = X_data
        self.Y_data = Y_data
        self.transform = transform
        self.target_transform = target_transform

    # 데이터세트의 총 개수를 리턴
    def __len__(self):
        return len(self.Y_data)

    # 인덱스를 기반으로 데이터세트로부터 샘플을 가져오는 함수 
    # 튜플형태로 리턴 : (입력,출력)
    def __getitem__(self, idx):            

        # 데이터 지정
        image = self.X_data[idx]
        label = self.Y_data[idx]
        
        # 입력 데이터 전처리
        if self.transform:
            image = self.transform(image)

        # 출력 데이터 전처리
        if self.target_transform:
            label = self.target_transform(label)

        return image, label


# 2. dataset 클래스가 담긴 객체 생성
import torchvision.transforms as transforms

train_path = "dataset/fashion-mnist_train.csv"
test_path = "dataset/fashion-mnist_test.csv"
train_dataset = CustomDataset(train_path,
                              transform=transforms.Compose([transforms.ToTensor()]))
test_dataset = CustomDataset(test_path,
                             transform=transforms.Compose([transforms.ToTensor()]))
                             
# 3. DataLoader를 담은 객체 생성
from torch.utils.data import DataLoader

train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=64, shuffle=True)

# 4. iterable 함으로, 데이터 한개 가져와서 플로팅
input, output = next(iter(train_dataloader))
idx = 0
img = input[idx].squeeze()
label = output[idx]
plt.figure(figsize=[2,2])
plt.imshow(img, cmap="gray")
plt.show()
print(f"Label: {label}")