【YoloV5 6.0|6.1 部署 TensorRT到torchserve】环境搭建|模型转换|engine模型部署（详细的packet文件编写方法）

忽然发现，关于部署TensorRT的文章少的可怜，于是乎，决定分享一下我自己关于这部分内容的一些成功实操和心得。还是希望大家可以分享出去，让更多人看到！！！

QQ: 1757093754

我的操作环境：

Yolov5 6.0：目前官方更新到6.1  —>  2022.7.5

python：3.8（anaconda3 2021.5）

CUDA: 11.4

CUDNN: 8.2.2

TensorRT： 8.2.2.1

torch：1.9.1+cu111

torchvision：0.10.1+cu111

vs：2019

OpenCV：4.5.0<如果你的yolov5版本是6.0、6.1，则可以不用OpenCV>

注：如果在进行操作的时候发现环境有问题，一定要检查自己的环境版本问题！！！

注：Yolov5 1~5版本并没有封装完好的TensorRT转换流程，故需要借助其他方法完成模型转换，但是6.0、6.1内置TensorRT的export。

目录

忽然发现，关于部署TensorRT的文章少的可怜，于是乎，决定分享一下我自己关于这部分内容的一些成功实操和心得。还是希望大家可以分享出去，让更多人看到！！！

我的操作环境：

前言

版本对应关系：（这一部分如果已经完成了，可以直接跳到下一个环节）

环境安装

第一步：安装CUDA和CUDNN

 第二步：配置环境变量

第三步：安装tensorrt到python环境（pip） 

模型转换（pt --> engine）

命令行参数解析： 

​编辑 export.py 命令行：

torchserve部署文件的制作

前言

handler.py的撰写

模型加载方法

 数据加载（预处理）方法

推理方法

后处理方法

最后 

部署工作

执行打包命令生成mar文件

打开torchserve服务

测试图片

后记

参考资料

前言

• 本人使用的操作系统是 windows10，但同样的方法Linux也可以使用。
• 本次操作不基于 TensorRTx 工具。<这是1~5版本yolov5模型转换时需要用到的>
• 以下操作不会用到 OpenCV和Cmake，但是会给出下载方法。
• 欢迎讨论、交流：QQ | 1757093754