profile
안녕하세요 ㅎㅎ

Bool value of Tensor with more than one value is ambiguous in Pytorch

GPU를 이용한 pytorch를 사용하다보면 이런 에러를 만날 수도 있다.이 에러는 tensor값을 boolen 값으로 비교하려고 할 떄 발생하는 에러이다. 예를 들면 다음과 같은 상황이다.위의 코드와 같이 tensor값을 비교하면 다음과 같은 에러가 발생한다.이를

2021년 11월 29일
·
1개의 댓글

RuntimeError: The size of tensor a (3902) must match the size of tensor b (512) at non-singleton dimension 1

KoBert fine-turning을 통해 사용하는 중에 다음과 같은 에러를 만났다.이 에러는 pre-trained 모델에서 사용했던 max-len보다 긴 데이터가 입력으로 들어올 경우 발생한 에러이다.해결방법 또한 간단하다. 그저 최대 길이를 맞춰주면 된다.위와 같은

2021년 11월 29일
·
0개의 댓글

ImportError: cannot import name 'WarmupLinearSchedule'

transformers.optimization 중 하나인 warnupLinearSchedule을 사용할 때 발생하는 에러이다.이처럼 선언하여 사용하는 이를 다음과 같이 바꾸면 에러를 피할 수 있다.warmup_step ⇒ num_warmup_stepst_total ⇒

2021년 11월 29일
·
0개의 댓글

not install wrapt

pip install tesorflow를 하면 다음과 같은 에러를 종종 만나게 된다이 경우 tensorflow를 conda로 설치하면 해결된다.아니면 다음과 같이 tensorflow를 설치해도 된다.또한 tensorflow를 설치할 때는 gpu 버전과 cpu버전을 따로

2021년 11월 29일
·
0개의 댓글
post-thumbnail

colab plt 한글 깨짐 현상

colab을 통해 python으로 그래프를 그릴 때 matplotlib을 주로 사용한다. 이때 한글로 라벨을 달게 되면 한글 폰트가 없는 colab에서 한글이 깨지게 된다.이를 해결하기 위한 방법을 난 찾아냈다.!이 코드를 통해 한글 폰트를 다운 받는다. 다운 받은 폰

2021년 11월 29일
·
0개의 댓글

'utf-8' codec can't decode byte 0xeb in position 7: unexpected end of data

파일을 불러올 때 주로 발생하는 에러로 인코딩이 맞지 않아서 발생한다. 이 경우 인코딩 방식을 명시해주면 된다.

2021년 11월 29일
·
0개의 댓글

Cuda Out Of Memory

다음과 같은 에러가 pytorch로 모델 학습 중, 테스트 중 종종 발생한다. 이는 gpu의 메모리 부족현상이다,.여러가지 방법이 존재한다. 나는 총 2가지 방법을 사용해봤고, 내 생각에는 이 모든 방법이 복합적으로 작동하여 해결된것 같다.메모리 캐쉬 삭제cuda로 할

2021년 11월 29일
·
0개의 댓글

AttributeError: 'tuple' object has no attribute 'cpu'

파이썬에서 tuple 변수를 cpu로 할당할 때 발생하는 에러로, 이때는 tuple이 아닌 tuple의 원소 하나하나를 cpu로 할당한 다음, 모든 값을 하나의 tuple로 다시 만들어주면 된다.나는 cuda의 메모리 부족현상이 발생하여 모델의 결과를 다른 함수에서 사

2021년 11월 29일
·
0개의 댓글

can't convert cuda:0 device type tensor to numpy. Use Tensor.cpu() to copy the tensor to host memory first.

발생 위치 train_accuracy(y, prediction)를 실행하는 중에 발생 발생 원인 함수 내에서 prediction을 numpy의 array로 바꿔주는데 현재 prediction이 gpu에 할당되어 있어 문제가 발생하는 것이다. 즉, gpu에 할

2021년 11월 29일
·
0개의 댓글

CUDA error

kobert finetunung하는 중에 발생한 에러이 에러를 해결하는 방법에는 여러가지가 있어보이지만 대부분의 에러는 target의 범위를 벗어나서 발생하는 것으로 보인다.나 같은 경우는 target을 2개로 설정해 두고 3개를 넣어주어 발생했으나다른 사람의 경우 t

2021년 11월 29일
·
0개의 댓글

The least populated class in y has only 1 member, which is too few. The minimum number of groups for any class cannot be less than 2.

test, train set 을 나누기 위햇 train_test_split을 사용했을 때 발생했던 오류이다.이경우 stratify를 제거해주면 정상 작동하는데, stratify의 역할은 훈련데이터를 나눌 때 무작위로 샘플링을 하되, original dataset의 클래

2021년 11월 29일
·
0개의 댓글

'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

이와 같은 에러가 발생했을 때다음과 같이 utf-8로 해서 에러가 발생하는 것이었다. 이는 파일의 첫번째 바이트가 0xFF여서 에러가 발생하는 것으로 utf-8의 형태를 보이지 않는다.이 경우는 간단한 방법으로 해결이 가능한데, utf-8 ⇒ utf-16으로 바꿔주면

2021년 11월 29일
·
0개의 댓글
post-thumbnail

tqdm()

반복문 사용시 범위(?)를 이걸로 감싸면 진행율을 출력해준다.이처럼 진행율이 같이 나옴, 진행율을 나타내는 progress bar는 항상 제일 위에 존재.

2021년 11월 29일
·
0개의 댓글
post-thumbnail

ValueError: Unknown label type: 'continuous'

결정트리를 만들기 위해 타이타닉 데이터를 이용하여 모델을 학습시키는데위의 사진과 같은 에러가 발생했다. 검색결과 타입의 문제라는 결론이 생겼다.현재 사진과 같이 y 데이터의 타입은 float로 되어있는데, 이진분류를 위한 0과 1의 값은 int형이어야한다는 것이다...

2020년 8월 5일
·
0개의 댓글