【机器学习】正则化项L1范数与L2范数的关系

发布时间:2023-03-09 10:30

在学习机器学习过程中,我自己纠结了很久的一个问题是 L1 norm 和 L2 norm 到底是什么关系,有什么区别。

L1 和 L2 都是深度学习中常用的正则化项(regularizer),描述的是模型的复杂度,它的作用在于模型越复杂,正则化项越大,将它加在损失函数(loss function)后面作为罚项(penalty),这样在最小化损失函数的过程中就可以照顾到模型复杂度的问题,防止过拟合(overfitting)。

关于这两种范数的公式请自行查找,下面主要说一下这两者的关系。

L1正则化会让你的参数变得更稀疏,也就是使很多参数退化到0,这样可以起到类似于Dropout和特征选取的功能。另外,L1正则化的公式不可导,这使得反向求偏导数以优化参数时计算过程变得复杂,也使得优化带有L1正则化项的损失函数更加复杂,方法也五花八门。

L2正则化,则不会让你的参数退化到0,也就是使你的参数稀疏,因为有平方的存在,当参数很小的时候,这个参数基本就被忽略了,并不会被进一步调整为0。而且L2正则化的公式可导,这使得在优化时计算过程比L1要简洁。

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号