图深度学习——前馈神经网络及训练
发布时间：2022-08-28 22:00
前馈神经网络
一个前馈神经网络中叠加了很多神经元
人工神经元
输入是一组向量 x 1 , x 2 , x 3 , x 4 x_1, x_2, x_3, x_4 x1,x2,x3,x4， 参数 w 1 , w 2 , . . . , w 4 w_1, w_2, ...,w_4 w1,w2,...,w4，参数用于加权求和，通常来说，还会加入偏置 b b b。激活函数：引入非线性变换，可以帮助对更复杂事物进行建模。
激活函数
- relu函数，输入为正，那么输入和输出相同，否则输出为0
- sigmoid函数，输出区间(0,1)
- tanh函数，在循环神经网络RNN，LSTM中有应用。