Libtorch 추론속도가 느릴 때

마이클의 AI 연구소·2022년 2월 8일
0
post-thumbnail

어떤 크기의 입력의 첫 번째 추론이 실행되면 torchscript는 모델에 대해 최적화된 실행 그래프를 생성하며, 이 최적화는 상황에 따라 시간이 오래 걸릴 수 있다고 하네요. 기본적으로 그래프 실행기 최적화가 켜져 있고 해제가 가능하다고 합니다.

torch::jit::setGraphExecutorOptimize(false);
profile
늘 성장을 꿈꾸는 자들을 위한 블로그입니다.

0개의 댓글