发布时间:2022-08-19 13:12
本文为 52CV 粉丝投稿,分享对已开源的 tensorflow-yolov3 版本进行许多细节上算法改进,步骤详细,非常适合新手入门。
01
项目简要说明
本项目主要对原 tensorflow-yolov3 版本做了许多细节上的改进, 增加了TensorFlow-Serving 工程化部署, 训练了多个数据集,包括 Visdrone2019, 安全帽等数据集, 安全帽上 mAP 在 98% 左右, 推理速度1080上608 的尺寸大概25fps。本项目配有完善的说明, 如想你也想入门 TensorFlow 服务端部署, 那么, 这个项目是你非常好的选择.
02
TensorFlow Serving 介绍及优势
PyTorch越来越受欢迎, 但是TensorFlow在工业界的应用依旧比较广泛,
而TensorFlow Serving作为一个用于机器学习模型Serving的高性能开源库,它可以将训练好的机器学习模型部署到线上,使用gRPC作为接口接受外部调用。TensorFlow Serving支持模型热更新与自动模型版本管理,具有非常灵活的特点。
系统非常适用于大规模运行能够基于真实情况的数据并会发生动态改变的多重模型。它给出了一个把模型应用到实际生产的解决方案。
能够简化并加速从模型到生产的过程。它能实现在服务器架构和 API 保持不变的情况下,安全地部署新模型并运行试验。除了原生集成 TensorFlow,还可以扩展服务其他类型的模型,使用(之前训练的)模型来实施推理——基于客户端呈现数据的预测。
显著性能优势:
Cpu推理速度优化(5倍于Django+模型)
支持分布式tensorflow模型
模型动态加载卸载(无需中断服务,就能实现模型的版本替换)
多个模型同时提供服务
多编程语言客户端(C++,JAVA,GO等)
GPU推理加速
多版本便捷管理
本项目还采用了GRPC部署, 速度更加快, 亲测速度比HTTP快35%左右