[PyTorch x Kaggle] PyTorch Custom Dataset 알아보기 🥐

👨🏻‍💻 Introduction

PyTorch 프레임워크에 익숙해지기 위해서, kaggle dataset을 이용한 pytorch 노트북을 따라하고 주요 토픽들을 파고들기로 하였다.

• 선정 Topic
  • PyTorch custom dataset basics
  • 예제 dataset이 아닌 실제 풀고자 하는 문제의 custom dataset이 필요

아래는 해당 노트북을 저장한 Repository이다.

• Toxic comment classification simple BERT notebook

🧪 Toxic comment dataset

Toxic comment dataset 개요

• 위키피디아 comment 텍스트 데이터
• comment의 toxicity에 따라 사람이 6가지 타입의 클래스로 labeling
• 각 toxicity 타입 별 확률을 예측하는 모델을 만드는 것이 목표

Dataset 예시

• comment_text과 대응하는 6개의 toxicity label이 한 쌍

⚙️ Custom dataset skeleton

Toxic 데이터셋을 다룰 custom Dataset 클래스인 ToxicDataset을 생성한다.

torch.utils.data.Dataset을 상속받고, method를 override한다.

• Pycharm의 Override Methods... 기능을 사용하여 Dataset에서 override할 methods의 hint 확인

---

PyTorch는 dataset을 두 가지 타입으로 지원한다. (https://pytorch.org/docs/stable/data.html)

• map-style datasets
• iterable-stype datasets

해당 Dataset abstract class는 map-style dataset을 구현할 경우에 상속받는다.
이 타입의 dataset은 데이터 샘플을 key로 접근 가능한 map 형태라고 생각하면 된다.

• dataset[idx]와 같이 접근하여 idx 번째 데이터 포인트를 읽을 수 있다.

이 타입의 dataset을 구성하기 위해서 구현이 필요한 method는 아래와 같다.

• __init__: 데이터에 대한 전처리, csv 읽어오기, transform 적용과 같은 initial logic 구현
• __getitem__: 데이터셋에서 단일 데이터를 가져오는 함수. DataLoader에서 indice 또는 keys로 단일 데이터에 접근하게 된다.
  다루고자
• __len__: 데이터 샘플의 총 갯수

⚒ Preparing custom dataset

Toxic comment dataset의 cuustom dataset 구현을 위한 주요사항은 다음과 같다.

• Dataset은 모델의 입력으로 comment_text와 이에 대응하는 label을 __getitem__에서 반환
  - Dataset instance 생성 시, tensor로 변환하여 instance 내부 자료구조에 유지
• BERT 모델에 입력하기 위해 텍스트 데이터를 변환할 tokenizer 필요

🧰 __init__ method

csv 형태의 데이터 셋을 앞서서, pandas.DataFrame으로 load 하였다.

🔑 __getitem__ method

이후 DataLoader에서는 Dataset의 __getitem__ 메소드를 호출하여 데이터를 읽어들인다.

위에서 본 Toxic comment dataset에서 0, 1 label 둘 다 있는 7번째 데이터(index: 6)를 예시로 불러와 출력했다.

📏 __len__ method

DataLoader에서 __len__ 메소드를 호출하여, 데이터셋의 전체 크기를 알고 이를 이용하여 batch를 생성할 수 있다.

• Where is the len function used in PyTorch Dataset?

References

• PyTorch Custom Dataset Examples
• PyTorch Data Documentation
• PyTorch로 시작하는 딥러닝 입문 - 커스텀 데이터셋