모델 경량화 및 속도 향상 목적으로 pt 모델을 trt모델로 바꾸기 위해서 TensorRT을 설치하겠습니다.
1. 설치 환경
python 3.10.3
cuda 11.8
pytorch 2.0.1
onnx 1.16.2
TensorRT 8설치 환경이 다르신 분들은 밑 링크에 접속하여 본인의 버전에 맞도록 TensorRT를 다운받으면 됩니다.
https://docs.nvidia.com/deeplearning/tensorrt/release-notes/index.html
2. TensorRT 다운로드
https://developer.nvidia.com/tensorrt/download
1. 다운로드
사이트에 접속하여 TensorRT 8를 선택합니다.
윈도우 버전을 다운받아 주겠습니다.
2. 설치
적당한 곳에 압축을 풀어준 다음
pip install C:/TensorRT-8.6.1.6/python/tensorrt-8.6.1-cp310-none-win_amd64.whl
pip install C:/TensorRT-8.6.1.6/uff/uff-0.6.9-py2.py3-none-any.whl
pip install C:/TensorRT-8.6.1.6/graphsurgeon/graphsurgeon-0.4.6-py2.py3-none-any.whl
pip install C:/TensorRT-8.6.1.6/onnx_graphsurgeon/onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl폴더를 직접 들어가서 위 경로를 자신의 경로로 맞게 수정합니다 특히 tensorrt-8.6.1-cp310-none-win_amd64 설치할때 저는 파이썬 3.10 버전에 맞게 설치하였습니다.
3. 환경변수 설정
설치를 하다보면 에러가 생길때가 있다.
"Could not find: {:}. Is it on your PATH?\nNote: Paths searched were:\n{:}".format(name, paths)FileNotFoundError: Could not find: nvinfer.dll. Is it on your PATH?
이 에러는 nvinfer.dll 을 path에서 찾지 못한다는 에러이다.
nvinfer.dll 은 lib 폴더 안에 있다.
환경변수에 path를 찾을 수 있도록 lib 폴더를 추가해주면 해결된다.
시스템환경변수 편집 -> 환경변수 -> path 선택 -> 편집 선택 -> lib 위치 추가
C:\TensorRT-8.5.2.2\lib
4. 설치 확인
5. pt -> trt예제
참고
1. TensorRT 설치하기 - Windows (+ nvinfer.dll 오류 해결 방법 포함)
2 . YOLOv7ONNXandTRT.ipynb
