transformer version, pytorch device error

하이 ~ H i ~ (나 맫며들고 말았어..)

오랜만에 에러투성이 일상(!?)

이번에는 kcelectra로 훈련시킨 텍스트 분류 모델을 적용하면서 겪은 에러를 적어보고자 한다.

첫번째는 transformer 모듈 관련 에러이다.

AttributeError: Can't get attribute 'GELUActivation' on 
<module 'transformers.activations' from ...

스택오버플로우를 참고하니 로컬에서 훈련시킨 transformer와 버전이 상이해서 생긴 에러였다.
바로 로컬 transformer 버전인 4.17로 맞춰서 업데이트 해줬다! (업데이트 전엔 4.13? 4.12? 를 사용하고 있었다.)

(링크) 스택오버플로 링크

두번째는 device 관련 에러이다.

Expected all tensors to be on the same device, but found at least two devices, 
cuda:0 and cpu

로컬이라서 gpu 셋팅이 안된 상태여서, cpu로 학습 시켰는데 device 설정을 cuda가 가능하면 자동으로 cuda를 쓰게 했더니... same device가 아니라고 에러났다.

이건 전에도 본 적 있는 에러라서 익숙했는데 바로 device="cpu" 먹여주고 해결완료!

(링크) 파이토치 링크