InvalidConfigName: Bad characters from black list

초코소금빵·2025년 2월 11일

개발

목록 보기
3/7

huggingface load_dataset Error

문제 상황)huggingface의 load_dataset이 안되어서, 직접 Dataset으로 데이터셋 변환하고 난 뒤
.to_json()을 통해 저장 후, load_dataset("json", "/data/*.json")을 했는데
InvalidConfigName: Bad characters from black list Error 발생

문제 해결) https://github.com/huggingface/datasets/issues/5571
ds = load_dataset("json", data_files=args.input_json)
파일 경로 넣을 때, "data_files" 를 지정해주고 넣으면 잘 됨 ^^..

profile
피할 수 없으면 즐기자

0개의 댓글