发布时间:2022-08-19 13:19
NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎,用于在生产环境中部署深度学习应用程序,应用有图像分类、分割和目标检测等,可提供最大的推理吞吐量和效率。本文参照英伟达官网教程记录下在win10、cuda9.0、vs2015环境下的TensorRT 5.0的安装和使用过程,以供参考交流。
一、环境
Win10
vs2015
cuda9.0
cudnn7.0
python2.7
二、TensorRT 5.0安装
1、下载
下载链接:https://developer.nvidia.com/nvidia-tensorrt-5x-download
2、解压
3、设置系统环境变量
4、复制dll文件到cuda安装目录
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.Y\bin(对应自己的cuda安装目录)
二、mnist sample编译测试
完成tensorRT安装后,测试看安装是否成功,可以直接编译刚才解压的TensorRT里的案例来测试。这里我们选用sampleMNIST来测试。
1、mnist案例的程序在路径samples\sampleMNIST下
2、用vs2015(其他版本没试过)打开解决方案后,需对工程属性进行配置。
(1)首先修改一下对应的平台版本和工具集
(2)可执行文件目录
(3)附加包含目录
(4)附加依赖项
到这里工程属性的配置就完成了,接下来对工程编译。
3、编译
输出的可执行文件在目录D:\vs2015_workspace\TensorRT-5.0.4.3\bin下。
4、运行测试
在sample的readme中可以看到运行命令如下:
可以看到,到这里安装测试已经完成了。对TensorRT进一步的研究后续再进行,接下来将以SSD为例,进一步对使用TensorRT的各方面进行考察,尤其是INT8模式下的推理速度提升和准确率的影响。
2019年的第一天,元旦快乐!