profile
나는야 호기심 많은 느림보🤖
post-thumbnail

[PyTorch] Error 늪에서 빠져나오기 | Troubleshooting, OOM, GPU Util

가끔 내가 짠 코드도 아닌데 에러 났다고 하고...그냥 다른 거 하나 고쳐봤는데 디버깅이 되는 어이없는 상황들을 마주하기 쉽다.이번 포스팅은 그 늪에서 탈출하기 위한 방법들이다.이런 문제는 왜 발생했는지, 어디서 발생했는지 알기 어렵다...Error backtracki

2022년 1월 27일
·
0개의 댓글
·
post-thumbnail

효율적인 Hyperparameter Tuning | Ray

가장 기본적인 방법으로 grid vs random 있다.최근에는 베이지안 기반 기법들이 주도하고 있다.learning rate 0.1, 0.01, 0.001 → ...batchsize 32, 64, 128 → ...조합들을 적용해가며 가장 좋은 하이퍼파라미터를 찾는다.

2022년 1월 27일
·
1개의 댓글
·
post-thumbnail

Multi-GPU, Parallel | 용어와 개념 간단한 코드[PyTorch] 와 함께 한방에 정리

이번에는 multi gpu를 사용하면서 나올 용어들과 개념들을 정리해보았다. multi gpu하면 꼭 같이 나오는 parallel을 data와 model로 나누어 정리하였다. 코드원래 옛날에는 GPU를 어떻게 하면 적게 쓸까를 고민했지만최근에는 성능에 초점을 두면서 엄

2022년 1월 27일
·
1개의 댓글
·
post-thumbnail

PyTorch Monitoring tools | 학습과정 쉽게 그래프로 살펴보기

오늘은 PyTorch에서 쉽게 그래프 등 시각화하여 살펴볼 수 있는 방법들을 소개하려고 한다. 원래 matplotlib 밖에 모르던 때는 귀찮아서 잘 안그렸지만, 확실히 시각화해서 보는게 학습과정 이해에 필요한 것 같다.아래의 도구들은 귀찮다라는 말을 달고 사는 내가

2022년 1월 27일
·
1개의 댓글
·
post-thumbnail

PyTorch | Model save, checkpoints, freezing

학습을 돌리다 보면 날아가지 않도록 중간중간 저장시켜줘야한다. 이때 사용하는 함수가 save()이다.학습의 결과를 저장하기 위한 함수모델 형태와 파라미터를 저장한다.모델 학습 중간 과정의 저장을 통해 최선의 결과모델을 선택할 수 있다.만들어진 모델을 외부 연구자와 공유

2022년 1월 26일
·
0개의 댓글
·
post-thumbnail

PyTorch | Dataset & DataLoader

파이토치 데이터는 아래와 같은 과정으로 사용한다.collecting/cleaning/pre processing⇒ Data⇒ Dataset <= transforms ← ToTensor()/Crop()...⇒ DataLoader⇒ Model데이터 입력 형태를 정의하는

2022년 1월 26일
·
0개의 댓글
·
post-thumbnail

PyTorch | nn.Module, Parameter, Backward

딥러닝을 구성하는 Layer의 base class이다.Input, Output, Forward, Backward 정의한다.학습이 되는 Parameter로 정의가 된다.그러면 이제 weight를 정의를 해야하는데 이는 nn.Parameter로 정의된다.Tensor 객체의

2022년 1월 26일
·
0개의 댓글
·
post-thumbnail

PyToch Basic

우선 파이토치에서는 Tensor의 구조를 사용한다. 그리고 numpy 기능들을 거의 다 지원한다.numpy의 ndarray와 비슷하다.이외의 Data to Tensor, ndarray to tensor방법 등이 있다.~.device를 하면 cpu인지 gpu 사용중인지

2022년 1월 26일
·
0개의 댓글
·
post-thumbnail

PyTorch vs Tensorflow | PyTorch✋

Backward에서 자동미분할때 실행시점에서 그래프를 정의하는 방법이다.말 그래도 정의하고 실행하는 것이다.그래프를 먼저 정의 → 실행시점에 데이터를 feed한다.Pytorch는 Define by run(DCG)를 사용하여 실행하면서 그래프를 생성하고Tensorflow

2022년 1월 26일
·
0개의 댓글
·