发布时间:2023-09-07 15:30
有一段代码在 pytorch 1.2 上没有问题,但是移植到 pytorch 1.8 就会报如下错误:
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [3136, 10]], which is output 0 of TBackward, is at version 2; expected version 1 instead. Hint: the backtrace further above shows the operation that failed to compute its gradient. The variable in question was changed in there or anywhere later. Good luck!
经过检查,代码里并没有用到 inplace 操作。
后来发现这是 pytorch 版本更新造成的,对于 pytorch 1.4 之前的版本,如下代码是不会出错的:
opt1.zero_grad()
loss1.backward()
opt1.step()
opt2.zero_grad()
loss2.backward()
opt2.step()
但是更新到 pytorch 1.5 之后,这种操作就会报错,应该用下面代码代替:
opt1.zero_grad()
loss1.backward()
opt2.zero_grad()
loss2.backward()
opt1.step()
opt2.step()
这个BUG难了我一下午,特此记录一下。
2、Deep Learning in Higher Dimensions
以太坊 DApp 开发-Geth 私链环境搭建-Ubuntu 平台
《算法图解》读书笔记-2 第一章 算法简介 二分查找算法(python实现代码)时间复杂度 旅行商问题
Vue3+vite配置postcss-pxtorem报错[plugin:vite:css] Failed to load PostCss config
Mybatis06-ResultMap,Log4j日志及分页
ECharts 饼图颜色设置教程 - 4 种方式设置饼图颜色