PyTorch 深度剖析:并行训练的DP和DDP分别在什么情况下使用及实例

发布时间:2023-01-18 20:30

作者丨科技猛兽
编辑丨3D视觉开发者社区
✨如果觉得文章内容不错,别忘了三连支持下哦~

这篇文章从应用的角度出发,介绍 DP 和 DDP 分别在什么情况下使用,以及各自的使用方法。以及 DDP 的保存和加载模型的策略,和如何同时使用 DDP 和模型并行 (model parallel)。

文章目录

  • 1 DP 和 DDP 分别在什么情况下使用
    • 1.1 几种并行训练的选项
    • 1.2 DP 和 DDP 的比较

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号