CUDA 11.6 TensorRT OSS 설치

노하람·2022년 9월 8일
0
post-custom-banner

TensorRT 빌드 다운로드

TensorRT OSS 다운로드

git clone -b master https://github.com/nvidia/TensorRT TensorRT
cd TensorRT
git submodule update --init --recursive

빌드 환경 설정

Linux 플랫폼의 경우 아래 설명된 대로 TensorRT OSS를 빌드하기 위한 도커 컨테이너를 생성하는 것이 좋습니다.

TensorRT-OSS 빌드 컨테이너를 생성합니다.
TensorRT-OSS 빌드 컨테이너는 제공된 Dockerfile 및 빌드 스크립트를 사용하여 생성할 수 있습니다.
빌드 컨테이너는 즉시 사용 가능한 TensorRT OSS를 빌드하도록 구성됩니다.
도커 이미지가 크니 20GB 이상의 여유공간을 확보한 뒤 실행합니다.

예: cuda-11.6.2가 있는 x86-64의 Ubuntu 18.04(기본값)

./docker/build.sh --file docker/ubuntu-18.04.Dockerfile --tag tensorrt-ubuntu18.04-cuda11.6

  • 혹시 빌드 중에 ngc 다운로드 중 오휴가 발생하는 경우
    vim ubuntu-18.04.Dockerfile
    Dockerfile 안에서 ngc 다운로드 구문 찾아서, chmod 관련 구문 수정합니다.
    chmod u+x ngc -> chmod u+x ngc-cli/ngc
    • 이래도 해결이 안되면, ngc 관련 RUN 구문을 주석처리하고, 빌드 후 ngc는 별도로 설치합니다.

TensorRT-OSS 빌드 컨테이너 시작

예: Ubuntu 18.04 빌드 컨테이너

./docker/launch.sh --tag tensorrt-ubuntu18.04-cuda11.6 --gpus all

TensorRT-OSS 빌드

  • 컨테이너 내부에서 진행합니다!
 cd $TRT_OSSPATH
 mkdir -p build && cd build
 cmake .. -DTRT_LIB_DIR=$TRT_LIBPATH -DTRT_OUT_DIR=`pwd`/out
 make -j$(nproc)

profile
MLOps, MLE 직무로 일하고 있습니다😍
post-custom-banner

0개의 댓글