# KOBERT

11개의 포스트
post-thumbnail

⚡Pytorch Lightning 으로 koBERT Fine-Tuning 해보기 (NSMC)

Hi! I'm Jaylnne. 🖐코드는 아래 Github 레포에! 👇👇👇\[Github] jaylnne/nsmc-bert-pytorch_lightningPytorch Lightning 이란 Pytorch 에 대한 High-level 인터페이스를 제공하기 위한 라

2022년 5월 6일
·
0개의 댓글
post-thumbnail

RuntimeError: CUDA error: device-side assert triggered

kobert를 실행시키던 도중 다음과 같은 에러가 발생하였다. 이런 경우 보통 차원 수가 맞지 않아 발생하는 에러라고 한다.아니나 다를까 9개로 분류를 해야하는데 3으로 되어 있어 고쳤더니 에러가 바로 해결되었다.\[PyTorch 오류 해결] RuntimeErro

2022년 4월 7일
·
0개의 댓글
post-thumbnail

AttributeError: Can't get attribute 'BERTClassifier' on <module '__main__' from 'path'

Flask에서 model을 불러오려고 하니 다음과 같이 error가 발생하였다. torch.save(model, 'model.pt')로 저장하여 model 전체를 불러오려고 하니 어떤 모델인지 정의 되어 있지 않아 에러가 나는거 같았다.torch.save(mode

2022년 4월 7일
·
0개의 댓글

transformers Installation Error - Failed building wheel for tokenizers

Kobert를 다운 받는 중 다음과 같은 에러가 발생했다.link로 들어가 명령어를 copy 한 후 terminal에 입력해줬다.터미널을 재시작 하고 pip install transformers==2.5.1 후 Kobert를 재설치 했더니 error가 해결 되었다.\[

2022년 4월 7일
·
0개의 댓글
post-thumbnail

Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_location=torch.device('cpu') to map your storages to the CPU.

GPU로 학습하여 저장한 모델 전체를 cpu로 불러오니 에러가 발생하였다. 코드를 다음과 같이 변경하여 불러오니 해결되었다.모델 저장하기 & 불러오기 - PyTorch Tutorials 1.10.2+cu102 documentation

2022년 4월 5일
·
0개의 댓글

BERT에 CRF, BiLSTM, BiGRU 결합하는 방법

Python 3.8.3transformers 4.16.2torchcrf 0.0.1BiLSTM이나 BiGRU를 사용할때는 pack_padded_sequence와 pad_packed_sequence 함수를 사용한다. 나는 이부분에서 에러가 발생했다. 여기서 주의해야할 몇가

2022년 2월 14일
·
0개의 댓글
post-thumbnail

KoBERTMultiClassification 개선 중

Pytorch Lightning으로 KoBERT MultiClassification 구현 중

2022년 1월 5일
·
0개의 댓글

KoBERT finetuning으로 필터링 모델 만들기

KoBERT finetuning

2021년 12월 28일
·
0개의 댓글

RuntimeError: The size of tensor a (3902) must match the size of tensor b (512) at non-singleton dimension 1

KoBert fine-turning을 통해 사용하는 중에 다음과 같은 에러를 만났다.이 에러는 pre-trained 모델에서 사용했던 max-len보다 긴 데이터가 입력으로 들어올 경우 발생한 에러이다.해결방법 또한 간단하다. 그저 최대 길이를 맞춰주면 된다.위와 같은

2021년 11월 29일
·
0개의 댓글
post-thumbnail

BERT를 이용한 음절단위 개체명 인식

KoBERT를 이용한 질병 개체명 인식 모델을 만들어보았다.아직 자연어 처리 분야에 대해 공부하는 단계라 부족한 점이 많은 것 같다.KoBERT를 이용한다는 것 자체가 많이 힘들었다. KoBERT를 사용해보기 위해 BERT를 이용해야 했고, 전반 적인 구조를 이해해야

2021년 7월 26일
·
8개의 댓글
post-thumbnail

[SIG 프로젝트] 1. QA시스템을 만들어보자

이번 21년도 여름방학에는 팀원 2명과 함께 한국사 QA시스템을 만들어보기로 하였다.지금하는 이 프로젝트는 2학기 과목에서 쭉 이어갈 예정이기 때문에 구현가능성과 데이터의 수집가능성을 따져보아서 정한 주제이다처음에는 한국사 시험을 타겟으로 하고 진행하려 했으나, 데이터

2021년 7월 13일
·
0개의 댓글