Libtorch 추론속도가 느릴 때

어떤 크기의 입력의 첫 번째 추론이 실행되면 torchscript는 모델에 대해 최적화된 실행 그래프를 생성하며, 이 최적화는 상황에 따라 시간이 오래 걸릴 수 있다고 하네요. 기본적으로 그래프 실행기 최적화가 켜져 있고 해제가 가능하다고 합니다.

torch::jit::setGraphExecutorOptimize(false);