神经网络上插入注意力机制模块为什么精度不升反降?

发布时间:2023-02-22 11:00

1. 模型是否欠拟合或者过拟合?

我们都知道如果一个模型的参数量过大而且数据集量很少的时候,这样的模型很容易学的过拟合!!!所以在添加注意力module的时候一定要注意模型是否过拟合!因为大部分注意力module都是带有一定的参数!

  • (1)如果添加attention前模型处于欠拟合状态,那么增加参数是有利于模型学习的,性能会提高。
  • (2)如果添加attention前模型处于过拟合状态,那么增加参数可能加剧过拟合问题,性能可能保持不变或者下降。

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号