卷积神经网络的兴趣简单介绍

     卷积神经网络对于我来说是一个神奇、很高深的词汇。现在让我们揭开它神秘的面纱。“卷积”想必大家都比较熟悉，在概率论中就学习到而卷积神经网络就是数学的卷积在图像像素矩阵上的运算。可见数学的魅力！

一、卷积的理解

卷积是两个变量在某范围内相乘后求和的结果；

离散情况下是数列相乘再求和；

 

连续情况下是函数相乘再积分；

 

卷积是两个函数的运算方式，满足条件（交换律，分配律，结合律，数乘结合律，平移特性，微分特性，积分特性等）的算子。简言之：在原始输入上一个小区域一个小区域进行特征的提取，稍后细致讲解卷积的计算过程。

二、卷积神经网络（convolutional neural network，CNN）是⼀类强大的神经网络，正是为处理图像数据而设计的。基于卷积神经⽹络结构的模型在计算机视觉领域中已经占主导地位。

1、性质

（1）.平移不变性：不管出现在图像中的哪个位置，神经⽹络的底层应该对相同的图像区域做出类似的响应。 这个原理即为“平移不变性”。

（2） 局部性：神经⽹络的底层应该只探索输⼊图像中的局部区域，而不考虑图像远处区域的内容，这就是 “局部性”原则。

三、对比卷积神经网络和全连接神经网络

左图：全连接神经网络（平面）： 输入层，激活函数，全连接层。

右图：卷积神经网络（立体）：输入层，卷积层，激活函数，池化层，全连接层。

四、互相关运算

假设输⼊形状为 nh × nw，卷积核形状为 kh × kw，那么输出形状 将是 (nh − kh + 1) × (nw − kw + 1)。

 

 详细计算过程：

   ×  + 

= 

 对应元素相乘再加上偏置b就可以得到。后续滑动2循环此步骤进行计算.

为什么滑动两个格子？

滑动的格子（stride）越小，提取特征越多。一般不取1，要考虑时间效率。

五、池化层（对图像特征进行压缩，个人理解（降维的感觉））

 池运算符是确定性的，我们通常计算池化窗口中所有元素 的最大值或平均值。这些操作分别称为 最⼤池化层（maximum pooling）和 平均池化层（average pooling）。