42个激活函数的全面总结

发布时间：2024-08-27 19:01

2015 年 11 月，wikipedia的用户 Laughinthestocks 首次引入了“激活函数表”。从那时开始到现在，维基百科页面已经发生了 391 次更改。在本文中，我通过自己写的一个程序来挖掘截至 2022 年 4 月 22 日时维基百科页面历史中的每个唯一激活函数。本文还提供了针对激活函数的适当研究论文的附加链接，如果没有或者在无法找到特定研究论文的情况下，提供了相关的相关论文。

例如：通常人们会将 tanh 用于 FNN，将 ReLU 用于 CNN。

如果我们包括 Identity Activation 函数，这个列表将包含 42 个激活函数，这里面肯定有没有见过的。

Binary step

$\"42个激活函数的全面总结_第1张图片\"$

公式

导数

Logistic, sigmoid, or soft step

$\"42个激活函数的全面总结_第2张图片\"$

公式：

导数

$\"\"$

还有双极 sigmoid(1.f-expf(-x)) / (1.f + expf(-x))

ElliotSig 或 Softsign

$\"42个激活函数的全面总结_第3张图片\"$

公式：

导数

双曲正切 (tanh)

$\"42个激活函数的全面总结_第4张图片\"$

公式

导数

Arctangent / Arctan / atan

$\"42个激活函数的全面总结_第5张图片\"$

公式

导数

Softplus

$\"42个激活函数的全面总结_第6张图片\"$

公式

导数

Rectified linear unit (ReLU) (ReLU6)

$\"42个激活函数的全面总结_第7张图片\"$

公式

导数

Exponential linear unit (ELU)

$\"42个激活函数的全面总结_第8张图片\"$

公式

导数

Gaussian Error Linear Unit (GELU)

$\"42个激活函数的全面总结_第9张图片\"$

公式

导数

$\"\"$

Scaled exponential linear unit (SELU)

$\"42个激活函数的全面总结_第10张图片\"$

公式

导数

Mish

$\"42个激活函数的全面总结_第11张图片\"$

公式

导数

Leaky rectified linear unit (Leaky ReLU)

$\"42个激活函数的全面总结_第12张图片\"$

公式

导数

Parametric rectified linear unit (PReLU)

$\"42个激活函数的全面总结_第13张图片\"$

公式

导数

Parametric Exponential Linear Unit (PELU)

$\"42个激活函数的全面总结_第14张图片\"$

公式

导数

S-shaped rectified linear activation unit (SReLU)

$\"42个激活函数的全面总结_第15张图片\"$

公式

导数

Bipolar rectified linear unit (BReLU)

$\"42个激活函数的全面总结_第16张图片\"$

公式

导数

Randomized leaky rectified linear unit (RReLU)

$\"42个激活函数的全面总结_第17张图片\"$

Sigmoid linear unit (SiLU) or Swish

$\"42个激活函数的全面总结_第18张图片\"$

Gaussian

$\"42个激活函数的全面总结_第19张图片\"$

Growing Cosine Unit (GCU)

$\"42个激活函数的全面总结_第20张图片\"$

Shifted Quadratic Unit (SQU)

$\"42个激活函数的全面总结_第21张图片\"$

$\"\"$

$\"\"$

Non-Monotonic Cubic Unit (NCU)

$\"42个激活函数的全面总结_第22张图片\"$

$\"\"$

Shifted Sinc Unit (SSU)

$\"42个激活函数的全面总结_第23张图片\"$

没有提供导数公式，参考论文：https://arxiv.org/pdf/2111.04...。

Decaying Sine Unit (DSU)

$\"42个激活函数的全面总结_第24张图片\"$

没有提供导数公式，请参考论文：https://arxiv.org/pdf/2111.04...

Phish

没有提供导数公式，请参考论文：https://www.techrxiv.org/ndow...

SQ-RBF

$\"42个激活函数的全面总结_第25张图片\"$

Inverse square root unit (ISRU)

$\"42个激活函数的全面总结_第26张图片\"$

Square nonlinearity (SQNL)

$\"42个激活函数的全面总结_第27张图片\"$

$\"42个激活函数的全面总结_第28张图片\"$

Sigmoid shrinkage

$\"42个激活函数的全面总结_第29张图片\"$

“Squashing functions”

$\"42个激活函数的全面总结_第30张图片\"$

$\"42个激活函数的全面总结_第31张图片\"$

Maxout

该函数导数为正负无限

Bent Identity

$\"42个激活函数的全面总结_第32张图片\"$

Sinusoid

$\"42个激活函数的全面总结_第33张图片\"$

Sinc (taming the waves)

$\"42个激活函数的全面总结_第34张图片\"$

ArSinH

$\"42个激活函数的全面总结_第35张图片\"$

Soft Clipping (goldilocks)

$\"42个激活函数的全面总结_第36张图片\"$

Piecewise Linear Unit (PLU)

$\"42个激活函数的全面总结_第37张图片\"$

$\"\"$

Adaptive piecewise linear (APL)

$\"42个激活函数的全面总结_第38张图片\"$

Inverse Cubic

Soft Exponential

$\"42个激活函数的全面总结_第39张图片\"$

$\"42个激活函数的全面总结_第40张图片\"$

LeCun hyperbolic tangent (42?)

$\"42个激活函数的全面总结_第41张图片\"$

来自https://drive.google.com/view...

激活函数的wikipedia页面：

https://en.wikipedia.org/wiki...

最后说明，图太多了，如有遗漏或者错误，请留言

https://www.overfit.cn/post/18eb8aef0eb740c2a6c49bc43b833d1f

作者：Fletch

相关推荐

Spring @bean和@component注解区别

机器学习算法——手动搭建朴素贝叶斯分类器(附代码)

CPU之外，国产芯片再突破，再也不用看AMD和NVIDIA的脸色了

GIT常用命令大全——赶紧收藏

Go学习-基本语法(一)

libtorch-win10环境配置

vue 从零开始基本操作

数据挖掘实验之用逻辑回归分析uci数据banknote_authentication，附python代码

Unity Gizmos使用绘制

lime 模型_如何使用LIME在您的机器学习模型的预测中建立信任

基于Qt OpenCV的图像灰度化像素操作详解

【闲来无事玩C#】1、简单的串口上位机程序

[Java] 神秘的IO流 (下)

HADOOP学习笔记——HDFS

httpdns是个什么技术，有什么用

拓端tecdat|数据盘点高校新生录取情况

CARLA Simulator——开源自动驾驶模拟器

条件编译，C语言条件编译详解

Python：Matplotlib库绘制散点图和折线图

SpringBoot整合Redis及使用

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网，如有侵权请联系：561261067@qq.com

桂ICP备16001015号