CUDA error

RuntimeError: cuda runtime error (59) : device-side assert triggered

kobert finetunung하는 중에 발생한 에러

이 에러를 해결하는 방법에는 여러가지가 있어보이지만 대부분의 에러는 target의 범위를 벗어나서 발생하는 것으로 보인다.

나 같은 경우는 target을 2개로 설정해 두고 3개를 넣어주어 발생했으나

다른 사람의 경우 target에 -1이 들어있어 발생하는 경우도 많았다.

발생원인을 알아보기 위해서는 모델을 GPU가 아닌 CPU로 학습을 진행하게 되면

좀 더 자세한 에러의 원인이 출력되게 된다.

indexSelectLargeIndex what(): CUDA error: device-side assert triggered

임베딩 레이어에서 문제가 발생했다.

검색 결과 임베딩 레이어에 들어가는 입력값이 임베딩 크기보다 커서 발생하는 에러라고 한다.

이를 확인하기 위해 입력값의 모든 값을 출력했고, 임베딩 개수보다 큰 값을 가진 값이 있는지 확인했다.