[Colab] ValueError: Couldn't instantiate the backend tokenizer from one of...

문제

Colab에서 transformers의 AutoTokenzier를 사용할 때 다음과 같은 에러가 발생하였다.

원인은 에러메세지 중 3번에 해당하는 것으로 sentencepiece가 설치되지 않았기 때문이다.

사용하려고 하는 토크나이저가 sentencepiece 기반이기 때문에 발생한 것으로 보인다.

해결

sentenecepiece를 설치하고 커널을 재시작하면 해결된다.