딥러닝 모델을 돌리다보면 다양한 에러를 맞닥뜨린다...
vs code로 kcbert를 돌리려고 하던 중에 맞닥뜨린 Broken pipe
#document를 tolinst를 활용하여 리스트 변환, 라벨 또한 리스트로 변환해준다.
#dataloader에 기스트로 변환된 값들을 넣어 토치텐서로 변환해준다
#batsize는 32일때 out of memory error가 나기에 16으로 고정해주었다.
train_set_dataset = TheDataset(
document = train_set.Text.tolist(),
label = train_set.label.tolist(),
tokenizer = tokenizer,
)
valid_set_dataset = TheDataset(
document = valid_set.Text.tolist(),
label = valid_set.label.tolist(),
tokenizer = tokenizer,
)
# Create DataLoader for train/validation sets.
train_set_dataloader = torch.utils.data.DataLoader(
train_set_dataset,
batch_size = 16,
num_workers = 2
)
valid_set_dataloader = torch.utils.data.DataLoader(
valid_set_dataset,
batch_size = 16,
num_workers = 2
)
# Get one batch as example.
train_data = next(iter(train_set_dataloader))
valid_data = next(iter(valid_set_dataloader))
# Print the output sizes.
print( train_data["input_ids"].size(), valid_data["input_ids"].size() )

이는 num_workers를 0으로 변경해주면 된다.
코랩에서는 문제가 없는데 꼭 vs code로 하면 이렇게 오류가 뜬다.. why...