https://github.com/monologg/KoBERT-KorQuAD
토크나이저가 올바로 동작하지 않는 오류를 발견.
토큰 길이 > 512 이상이여서 오류
context 길이가 510 에서 잘라냈더니, answer 와 context 의 맵핑이 안되는 에러 발생
따라서 Kobert 는 보류
KcBert-large 도 같은 상황
.
https://github.com/monologg/KoBERT-KorQuAD
토크나이저가 올바로 동작하지 않는 오류를 발견.
토큰 길이 > 512 이상이여서 오류
context 길이가 510 에서 잘라냈더니, answer 와 context 의 맵핑이 안되는 에러 발생
따라서 Kobert 는 보류
KcBert-large 도 같은 상황