激活函数

为什么tanh比Sigmoid收敛更快？

1.左为Sigmoid：
Sigmoid是常用的非线性激活函数，他的数学形式如下：
这里写图片描述
它能够把输入的连续实值”压缩“到0-1之间。
特别的，如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1.
Sigmoid 函数曾经被使用的很多，但现在，用它的人越来越少了。主要是因为它的一些 缺点：
（1）Sigmoids saturate and kill gradients，这就是我们常常提到的梯度消失问题。sigmoid 有一个非常致命的缺点，当输入非常大或者非常小的时候（saturation），这些神经元的梯度是接近于0的。如果你的初始值很大的话，大部分神经元可能都会处在saturation的状态而把gradient kill掉，这会导致网络变的很难学习。
（2）Sigmoid 的 output 不是0均值。这是不可取的，因为这会导致后一层的神经元将得到上一层输出的非0均值的信号作为输入。

2.右为tanh；
tanh是Sigmoid的变形：
这里写图片描述
与Sigmoid不同的是，tanh是0均值的。因此，实际应用中，tanh会比Sigmoid更好。

对应的导数：
这里写图片描述
这里写图片描述
可知，的区间范围在（0，1）
的区间范围在（0，1/4）。
综上，tanh(x)的梯度消失问题比Sigmoid要轻，所以收敛的要快。
 ————————————————  
版权声明：本文为CSDN博主「Peanut_范」的原创文章，遵循CC 4.0 by-sa版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u013841196/article/details/80473654