relu与sigmod的比较

relu的优势：

第一，防止梯度弥散，sigmod函数只有在0附近有较好的激活性，接近正负饱和区时，变换太缓慢，导数趋于0，造成梯度弥散，而relu函数在大于0的部分梯度为常数,所以不会产生梯度弥散现象；

第二，稀疏性，Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，缓解了过拟合问题的发生，relu函数在负半区的导数为0 ,所以一旦神经元激活值进入负半区,那么梯度就会为0,也就是说这个神经元不会经历训练；

第三，加快计算，relu函数的导数计算更快,程序实现就是一个if-else语句,而sigmoid函数要进行浮点四则运算。