[ERROR] SentencePieceTokenizer 에러 해결

TypeError: init() got an unexpected keyword argument 'enable_sampling'

이런 에러가 발생하였는데,
chatgpt에 물어보니 아래와 같은 답변을 주었다.

gluonnlp.data.transforms.SentencepieceTokenizer의 enable_sampling 인수는 최신 버전의 gluonnlp에서 지원되지 않을 수 있습니다. 따라서 해당 인수를 사용하지 않는 다른 방식을 시도해야 할 것입니다.

하지만 내 가상환경에 설치된 gluonnlp는 최신 버전이였고, requirement.txt에서 요구하는 사항에 맞게 잘 설치되어 있었다.

❗에러 해결 방법

나는 sentencepiece==0.1.99 (최신버전)을 사용하고 있었는데, 최근 sentencepiece가 업데이트 되며 지원 가능한 가장 최신 버전이 0.1.96으로 바뀌었다는 사실을 알게 되었다.

그래서 기존의 sentencepiece를 삭제하고, 0.1.96 버전을 새로 설치했더니 에러가 해결되었다!