DL第二天

1. dropout的作用

典型的神经网络训练过程是将输入通过网络进行正向传导，然后将误差进行反向传播，dropout在这个过程中，网络中的节点以概率p被随机丢弃，本次训练中，被丢弃的节点不再起作用，但是接下来的训练中，之前的“丢弃”节点可能继续被“丢弃”，也可能加入训练。 （p一般设置为0.5，也可以根据模型的过拟合风险情况调整，加大或者减小） 

dropout训练类似于bagging训练中的“投票”，对于全连接神经网络而言，用相同的数据集训练n个不同的神经网络可能会得到多个不同的结果，然后利用“投票”机制决定胜出者，从而提升网络性能。同理，对于单个神经网络而言，如果将其分批，虽然不同的网络可能会产生不同程度的过拟合，但是将其共用一个损失函数，相当于同步优化取平均，避免过拟合； 
dropout训练减少了神经网络结点之间的共适应性，当隐藏层节点被随机删除后，是的网络具有了一定的稀疏性，从而有效的减轻了不同特征间的协同效应。也就是说，某些特征可能会依赖于固定关系的隐藏节点的共同作用，而通过dropout，迫使一个网络节点和随机挑选出来的其他节点共同工作，达到更好的网络泛化能力。