PyTorch

torch.tensor에 대해서 앞에 물결을 붙이는 경우가 있다. 베르누이 분포를 생성행렬 a에 대해 앞에 n개, 뒤에 m개의 값x인 패딩을 반환

다른 모델을 내 모델로 불러올 때 Unexpected key(s) in state_dic 문제🤦‍♂️ 학습한 모델을 파인튜닝을 하기 위해 torch.load를 이용해 다시 불러오려고 했는데, 아래와 같은 에러가 발생했다. 어떤 부분이 다른가 했더니 파인튜닝 시에는

cpu에서 테스트 후에 gpu에서 파인튜닝시, gpu 메모리가 증가하여 oom으로 중단되는 경우가 발생하였다.for 문에서 data를 할당 받는 경우, 데이터를 받을 때, 이전에 사용한 메모리를 저장하기 때문에 순간적으로 2배가 되어 oom이 발생할 수 있다.아래와 같

pytorch transformer 구현 중 Positinal Encoding 부분에서 self.register_buffer('pe', pe) 와 같이 사용하는 부분이 있어서 검색일반적으로 모델 매개 변수로 간주되지 않는 버퍼를 등록하는 데 사용됩니다. 예를 들어, B

파이토치에서 코드를 보다보면 einsum을 많이 볼수 있습니다.근래 들어서 더 많이 보게 되는데 잘 모르는 부분이라 아래 관련 자료들 찾아보고 정리합니다https://ichi.pro/ko/einsum-eul-hwal-yonghayeo-dib-leoning-ko

Batch matrix multiplication 으로 두 operand가 모두 batch일때 사용하며, 브로드캐스트 기능을 지원하지 않는다. 두 입력은 3-D 텐서가 되어야한다.B, N, M x B, M, P = B, N, P$$out_i = input_i @ mat

PyTorch Lightning DeepSpeed 토치 라이트닝에서 딥스피드를 사용하기 위한 방법 학습 및 정리. DeepSpeed 딥스피드는 딥러닝 학습 optimization 라이브러리이다. 딥스피드를 통해 트랜스포머 모델의 메모리 를 효율적으로 학습할 수 있게