[오류] AssertionError: Cannot handle batch sizes > 1 if no padding token is defined.

GPT2로 multi-classification을 하기 위해 불러온 tokenizer에 pad_token을 다음과 같이 special_token으로 넣어주었다.

if tokenizer.pad_token is None:
    tokenizer.add_special_tokens({'pad_token': '[PAD]'})
    model.resize_token_embeddings(num_added_token + tokenizer.vocab_size + 1)

하지만 train을 할 때 다음과 같은 오류가 발생했다.

AssertionError: Cannot handle batch sizes > 1 if no padding token is defined.

config에도 pad_token_id를 설정해줘야 했다.

if tokenizer.pad_token is None:
    tokenizer.add_special_tokens({'pad_token': '[PAD]'})
    model.resize_token_embeddings(num_added_token + tokenizer.vocab_size + 1)
    model.config.pad_token_id = model.config.eos_token_id

위와 같이 config에 pad_token_id를 설정하는 한 줄을 추가하면 된다.