GELU激活函数算法

发布时间:2023-02-20 08:00

Gaussian Error Linerar Units(GELUS)

论文链接:https://arxiv.org/abs/1606.08415

最近在看bert源码,发现里边的激活函数不是Relu等常见的函数,是一个新的激活函数GELUs, 这里记录分析一下该激活函数的特点。

不管其他领域的鄙视链,在激活函数领域,大家公式的鄙视链应该是:Elus > Relu > Sigmoid ,这些激活函数都有自身的缺陷, sigmoid容易饱和,Elus与Relu缺乏随机因素。

在神经网络的建模过程中,模型很重要的性质就是非线性,同时为了模型泛化能力,需要加入随机正则,例如dropout(随机置一些输出为0,其实也是一种变相的随机非线性激活), 而随机正则与非线性激活是分开的两个事情, 而其实模型的输入是由非线性激活与随机正则两者共同决定的。

GELUs正是在激活中引入了随机正则的思想,是一种对神经元输入的概率描述,直观上更符合自然的认识,同时实验效果要比Relus与ELUs都要好。

\"GELU激活函数算法_第1张图片\"

翻看bert源码给出的GELU代码表示如下:

def gelu(input_tensor):
	cdf = 0.5 * (1.0 + tf.erf(input_tensor / tf.sqrt(2.0)))
	return input_tesnsor*cdf

感觉bert源码中的近似计算更简单,具体怎么近似的,我猜不出来。

下面贴一些论文的实验图,就是证明GELU学习更快且更好:

\"GELU激活函数算法_第2张图片\"

\"GELU激活函数算法_第3张图片\"

\"GELU激活函数算法_第4张图片\"

\"GELU激活函数算法_第5张图片\"

以上就是GELU激活函数算法的详细内容,更多关于GELU激活函数的资料请关注脚本之家其它相关文章!

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号