TensorRT 설치법 인터넷 보면 죄다 Tar 파일로 설치하라고 하는데 그러면 파이썬 밖에 못쓰고 C++은 사용할 수 없다.
두개 다 같이 까는 법을 우리 황선생님께서 친히 알려주셨는데 왜 쓰지 않는 것인가...

공홈 설치 메뉴얼

https://docs.nvidia.com/deeplearning/tensorrt/archives/tensorrt-1070/install-guide/index.html
지금 시간 기준 최신이 10.7이다. 이 버전으로 설명한다.

cuDNN 루머

혹자는 cuDNN를 꼭 깔아야지만 설치가 된다고 하는데.... 여기 글을 읽어보자

cuDNN is now an optional dependency for TensorRT and is only used to speed up a few deprecated layers. If you require cuDNN, verify that you have it installed. Review the NVIDIA cuDNN Installation Guide for more information. TensorRT 10.7.0 supports cuDNN 8.9.7. cuDNN is not used by the lean or dispatch runtimes.

옵션이라 써있다. 이상 끝
친히 호환되는 버전까지 써주셨다. 필요하면 고민하지 말고 이 버전으로 설치 하자.^^;;

설치법

자. 이제 설치법을 알아보자

그림을 처음 봤을 때 나도 당황했다..그래 나도 안다. 딱봐도 복잡해보여서 친근한 한국어 블로그를 유도하는 이 어렵고 난해한 용어들... 무시하고 아래로 내려가자.

파이썬 설치법이 나온다. 가볍게 스킵하자. 왜냐하면
When installing TensorRT from the Python Package Index, you’re not required to install TensorRT from a .tar, .deb, .rpm, or .zip package. All the necessary libraries are included in the Python package. However, the header files, which may be needed to access TensorRT C++ APIs or compile plugins written in C++, are not included.
C++이 안된다. 그리고 불필요하게 압축푼 폴더 경로를 .bashrc에 넣어줄 필요가 없다.
하지만 tar로 설치하면 이건 좋다. 여러 버전의 TensorRT를 설치하고 폴더별로 관리할 수 있다.
또는, 특정 파이썬 버전에 설치할 수 있는 장점이 있긴 하다.
그럼에도 나는 C++ 추론 장점이 더욱 더욱 크다고 생각한다.
그리고 애초에 다른 버전을 쓸거면 흠...그럴거면.....도커를 쓰는게 낫지 않은가?..

진짜 설치법

좀더 스크롤을 내려 아래로 가면 이런 페이지가 있다.

Go to라 적혀 있는 사이트를 가면

Download Now 클릭

TensorRT 10 클릭

TensorRT 10.7 GA for Ubuntu 22.04 and CUDA 12.0 to 12.6 DEB local repo Package 클릭 (다른 우분투 버전이면 20.04, 22.04, 24.04 클릭하자)
이 게시글을 읽을 정도면 쿠다 버전 정도는 알것이라 생각하므로 쿠다 버전은 설명을 생략한다.
그 뒤 다운 받으면 다시 설치 메뉴얼에 적힌 이부분을 따라하면 끝이다.

나의 경우 아래대로 입력했다.

sudo dpkg -i nv-tensorrt-local-repo-ubuntu2004-10.7.0-cuda-12.6_1.0-1_amd64.deb
sudo cp /var/nv-tensorrt-local-repo-ubuntu2004-10.7.0-cuda-12.6/nv-tensorrt-local-5C7BF038-keyring.gpg /usr/share/keyrings/
sudo apt update
sudo apt install tensorrt

끝이다. 진짜 다 깔렸다.

마무리

근데 아마 trtexec가 터미널에서 실행 안되서 당황할 것이다.
의심하지 말라.
해당 경로에 잘 깔려 있을 것이다.

nvidia@nvidia-JR:/usr/src/tensorrt/bin$ ls
trtexec

편하게 터미널에 사용하려면 다들 잘 알듯 .bashrc 해당 내용을 추가해 앨리어싱을 사용해보자.

alias trtexec='/usr/src/tensorrt/bin/trtexec'

파이썬도 잘 깔린 것을 확인할 수 있다.

nvidia@nvidia-JR:/usr/src/tensorrt/bin$ python3
Python 3.8.10 (default, Sep 11 2024, 16:02:53) 
[GCC 9.4.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorrt
>>>