深度学习汇报（4）

目录

第八章 深度置信网络

第九章 卷积神经网络

第十章 循环神经网络

---

第八章 深度置信网络

深度置信网络是神经网络的一种，既可以用于非监督学习，类似于一个自编码机；也可以用于监督学习，作为分类器使用。从非监督学习来讲，其目的是尽可能地保留原始特征的特点，同时降低特征的维度。从监督学习来讲，其目的在于使得分类错误率尽可能地小。

玻尔兹曼机：

• 特点1：随机变量都是二值的（{0,1}）
• 特点2：所有节点是全连接的
• 特点3：两个节点之间的相互影响是对称的

受限玻尔兹曼机：

层内的神经元没有连接关系，神经网络只有两层（visible layer和hidden layer）

深度置信网络：

由多层受限玻尔兹曼机组成的神经网络

训练法则：逐层进行，每一层都用户数向量来推断隐层，再把这个隐层作为数据向量来推断下一个隐层。

---

第九章 卷积神经网络

网络层：卷积，池化和全连接

作用：

• 卷积层：特征提取
• 池化层：降低特征图参数量和解决图像不变性等
• 全连接层：将特征图映射为向量

核心思想：参数共享和局部感知

AlexNet：

闪光点：ReLU，重叠Pooling，数据增强，Dropout

• ReLU：使用ReLU代替Sigmoid激活函数，快速收敛
• 重叠Pooling：实现stride<kernel size，减轻过拟合
• 数据增强：实现原始图像（256*256）随机剪裁为224*224的图像；图像水平单转；随机增加光照。防止过拟合
• Dropout：每个隐藏层神经元的输入以0.5的概率输出为0，防止过拟合

VGGNet：

研究深度对卷积网络的影响。使用简单的3*3卷积核，不断重复卷积层，池化，最后经过全连接、softmax，得到输出类别概率。

---

第十章 循环神经网络

标准RNN结构解决了信息记忆的问题，但是对长时间记忆的信息会衰减；存在梯度爆炸和梯度消失问题，并不能真正地处理好长距离的依赖。

长短期记忆网络（LSTM）：

一种特殊的RNN类型，可以学习长期依赖信息

门控循环单元（GRU）：

简化版的LSTM。因为LSTM中，遗忘门与输入门的关系互补，所以GRU用一个门代替。

在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在GRU模型中只有两个门：分别是更新门和重置门。