vscode 사용 중, python import 가 정상적으로 작동하지 않는 것을 확인.다음과 같이 색칠이 되지 않고, ctrl + clk 에도 library source code 로 이동하지 않는 문제 발생. 확인해보니, 다음과 같은 문제가 있었음isort exten

최근 ML 분산학습 시스템을 처음부터 빌드하는 작업을 하게 되었는데, 기존 사용하던 horovod source code의 작동 문제를 발견함. 본 포스팅은 위 문제를 해결한 과정을 기록함. 시행착오 1 NCCL github 에서 version 을 2.14 로 맞추었음

C, C++, 심지어 python 에서도 shared library 를 사용함. 특히 python 의 경우 여러 dependency 가 여러 디렉토리, i.e, /usr, /usr/local ~/.local 에 분산되어 있기 때문에 사이즈가 큰 코드일수록 shared

python3 를 사용하여 코드 작업 시, 필요한 패키지를 pip3 install 로 설치하는 경우가 대부분임. 그러나 pip3 는 사용되는 명령어에 따라 library 와 binary 가 다른 path 에 설치되는 문제가 발생하여 dependency 문제가 발생할 수

여러 source code 를 빌드하다보면 library link 가 깨지는 현상이 발생함. 또한 library 를 sudo apt install 혹은 sudo dpkg 로 install 하거나 source code 로 빌드했을 경우. 빌드 이후에 설치되는 direct

Horovod 탐구 (4)

Horovod 탐구 (3)

Horovod 탐구 (2)

Background of python

Horovod 탐구 (1)

Python I/O 에서 stream 의 정의에 대해 다룬다.

python byte object

PyTorch 탐구 - optimizer