TIL
1.GitHub merge, branch, checkout
2021년 11월 21일 Today I Learned
2.2021.12.9 Block Attention 모듈
CAPSTONE 하는 도중, Attention 모듈을 CNN에 접목시킨 Block Attention Module을 찾았다.논문의 이름은 "CBAM: Convolutional Block Attention Module" 이고, 링크는 https://arxiv.or
3.Error with Pytorch Distributed Data Parallel (DDP) when using 8 * RTX 3090
An error message occured when I tried DDP using 8 \* RTX 3090 GPUs.My environment was CUDA 11.3, Pytorch 1.12In my case, using CUDA 11.1 solved this e
4.docker환경에서 opencv-python 사용 시 Error
sudo apt-get install libgl1-mesa-glxsudo apt-get install libglib2.0-0Docker 환경에서 pip install opencv-python 으로 opencv 설치 후 실행하면 나타난 에러들이었다.
5.Python 프로세스를 종료시켜도 GPU Memory를 반환하지 않고, nvidia-smi에 process ID가 나오지 않을 때 해결
Pytorch의 DDP를 사용하던 중, 학습을 종료시키고자 Ctrl+C를 입력하여 프로세스를 종료하였다. 그러나 GPU Memory를 반환하지 않았으며, Process를 Kill하기 위해 nvidia-smi 또는 ps 명령어를 이용하려고 했다.1\. nvidia-smi
6.Authorized_keys를 등록해도 비밀번호를 물어볼때
.ssh/authorized_keys 파일이 있어도 ssh 접속 시 비밀번호를 물어보는 문제가 있었다.구글링해보면1\. ~/.ssh 권한 7002\. ~/.ssh/authorized_keys 권한 : 600으로 했는데도 계속해서 비밀번호를 물어봤었는데, 홈디렉토리 권한
7.dist.get_rank() == 0 후 dist.barrier()에서 stall되는 현상
torch.distributed.barrier()는 distributed training (multi-gpu training) 환경에서 multi-process로 학습을 수행할 때, 각 process (rank)들마다 진행 속도가 다를 수 있다.모든 process들이