举例说明卷积神经网络架构（举例说明卷积神经网络的应用）
今天给各位分享举例说明卷积神经网络架构的知识，其中也会对举例说明卷积神经网络的应用进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！
本文目录一览：
卷积神经网络的结构、尺寸
（摘录源于： CS231n课程笔记 ）
最常见的形式就是将一些卷积层和ReLU层放在一起，其后紧跟池化层，然后重复如此直到图像在空间上被缩小到一个足够小的尺寸，在某个地方过渡成全连接层也较为常见。最后的全连接层得到输出，比如分类评分等。
换句话说，最常见的卷积神经网络结构如下：
INPUT - [[CONV - RELU]*N - POOL?]*M - [FC - RELU]*K - FC
其中*指的是重复次数，POOL?指的是一个可选的汇聚层。其中N =0,通常N=3,M=0,K=0,通常K3。例如，下面是一些常见的网络结构规律：
输入层（包含图像的）应该能被2整除很多次。常用数字包括32（比如CIFAR-10），64，96（比如STL-10）或224（比如ImageNet卷积神经网络），384和512。
最常用的设置是用用2x2感受野，步长为1。
———·———·———·———·———·———·———·———·———·———·——
（以下）直接全***，供查阅参考。
———·———·———·———·———·———·———·———·———·———·——
下面是卷积神经网络领域中比较有名的几种结构：
VGGNet的细节： 我们进一步对 VGGNet 的细节进行分析学习。整个VGGNet中的卷积层都是以步长为1进行3x3的卷积，使用了1的零填充，汇聚层都是以步长为2进行了2x2的最大值汇聚。可以写出处理过程中每一步数据体尺寸的变化，然后对数据尺寸和整体权重的数量进行查看：
注意，大部分的内存和计算时间都被前面的卷积层占用，大部分的参数都用在后面的全连接层，这在卷积神经网络中是比较常见的。在这个例子中，全部参数有140M，但第一个全连接层就包含了100M的参数。
一旦对于所有这些数值的数量有了一个大略估计（包含激活数据，梯度和各种杂项），数量应该转化为以GB为计量单位。把这个值乘以4，得到原始的字节数（因为每个浮点数占用4个字节，如果是双精度浮点数那就是占用8个字节），然后多次除以***分别得到占用内存的KB，MB，最后是GB计量。如果你的网络工作得不好，一个常用的方法是降低批尺寸（batch size），因为绝大多数的内存都是被激活数据消耗掉了。
（7）卷积神经网络的基本结构
卷积神经网络主要结构有：卷积层、池化层、和全连接层。通过堆叠这些层结构形成一个卷积神经网络。将原始图像转化为类别得分，其中卷积层和全连接层拥有参数，激活层和池化层没有参数。参数更新通过反向传播实现。
（1）卷积层
卷积核是一系列的滤波器，用来提取某一种特征
我们用它来处理一个图片，当图像特征与过滤器表示的特征相似时，卷积操作可以得到一个比较大的值。
当图像特征与过滤器不相似时，卷积操作可以得到一个比较小的值，实际上，卷积的结果特征映射图显示的是对应卷积核所代表的特征在原始特征图上的分布情况。
每个滤波器在空间上（宽度和高度）都比较小，但是深度和输入数据保持一致（特征图的通道数），当卷积核在原图像滑动时，会生成一个二维激活图，激活图上每个空间位置代表原图像对该卷积核的反应。每个卷积层，会有一整个集合的卷积核，有多少个卷积核，输出就有多少个通道。每个卷积核生成一个特征图，这些特征图堆叠起来组成整个输出结果。
卷积核体现了参数共享和局部连接的模式。每个卷积核的大小代表了一个感受野的大小。
卷积后的特征图大小为(W-F+2*P)/s+1 ；P 为填充 s 为步长
（2）池化层
池化层本质上是下***样，利用图像局部相关性的原理（认为最大值或者均值代表了这个局部的特征），对图像进行子抽样，可以减少数据处理量同时保留有用信息。这里池化有平均池化，L2范式池化，最大池化，经过实践，最大池化的效果要好于平均池化（平均池化一般放在卷积神经网络的最后一层），最大池化有利于保存纹理信息，平均池化有利于保存背景信息。实际上（因为信息损失的原因）我们可以看到，通过在卷积时使用更大的步长也可以缩小特征映射的尺寸，并不一定要用池化，有很多人不建议使用池化层。32*32在5*5卷积核步长为1下可得到28*28。
池化操作可以逐渐降低数据体的空间尺寸，这样的话就能减少网络中参数的数量，使得计算***耗费变少，也能有效控制过拟合。
（3）全连接层
通过全连接层将特征图转化为类别输出。全连接层不止一层，在这个过程中为了防止过拟合会引入DropOut。最新研究表明，在进入全连接层之前，使用全局平均池化可以有效降低过拟合。
（4）批归一化BN——Batch Normal
随着神经网络训练的进行，每个隐层的参数变化使得后一层的输入发生变化，从而每一批的训练数据的分布也随之改变，致使网络在每次迭代中都需要拟合不同的数据分布，增大训练复杂度和过拟合的风险，只能***用较小的学习率去解决。
通常卷积层后就是BN层加Relu。BN已经是卷积神经网络中的一个标准技术。标准化的过程是可微的，因此可以将BN应用到每一层中做前向和反向传播，同在接在卷积或者全连接层后，非线性层前。它对于不好的初始化有很强的鲁棒性，同时可以加快网络收敛速度。
（5）DropOut
Dropout对于某一层神经元，通过定义的概率来随机删除一些神经元，同时保持输入层与输出层神经元的个数不变，然后按照神经网络的学习方法进行参数更新，下一次迭代中，重新随机删除一些神经元，直至训练结束。
（6）softmax层
Softmax层也不属于CNN中单独的层，一般要用CNN做分类的话，我们习惯的方式是将神经元的输出变成概率的形式，Softmax就是做这个的： 。显然Softmax层所有的输出相加为1，按照这个概率的大小确定到底属于哪一类。
Lecture 9 卷积神经网络架构
首先回顾一下在数字识别领域有巨大成功的LeNet-5，该网络结构为 [CONV-POOL-CONV-POOL-FC-FC]。卷积层使用5x5的卷积核，步长为1；池化层使用2x2的区域，步长为2；后面是全连接层。如下图所示：
而2012年的 AlexNet 是第一个在ImageNet大赛上夺冠的大型CNN网络，它的结构和LeNet-5很相似，只是层数变多了——[CONV1-MAX POOL1-NORM1-CONV2-MAX POOL2-NORM2-CONV3-CONV4-CONV5-Max POOL3-FC6-FC7-FC8]，共有5个卷积层、3个池化层、2个归一化层和三个全连接层。如下图所示：
之所以分成上下两个部分，是因为当时的GPU容量太小，只能用两个来完成。还有一些细节是：
AlexNet夺得ImageNet大赛2012的冠军时，将正确率几乎提高了10%，2013年的冠军是ZFNet，和AlexNet使用相同的网络架构，只是对超参数进一步调优：
这样将错误率从16.4%降低到11.7%
14年的冠亚军GoogLeNet和VGG分别有22层和19层，下面来分别介绍。
VGG 相对于AlexNet使用更小的卷积核，层数也更深。VGG有16层和19层两种。卷积核只使用3x3，步长为1，pad为1；池化区域2x2，步长为2。
那么为什么使用3x3的小卷积核呢？
下面看一下VGG-16的参数和内存使用情况：
VGG网络的一些细节是：
下面来看一下分类的第一名，GoogLeNet。
先说明 GoogLeNet 的一些细节：
“Inception”模块 是一种设计的比较好的局域网拓扑结构，然后将这些模块堆叠在一起。
这种拓扑结构对来自前一层的输入，并行应用多种不同的滤波操作，比如1x1卷积、3x3卷积、5x5卷积和3x3池化。然后将所有滤波器的输出在深度上串联在一起。如下图所示：
但是这种结构的一个问题是计算复杂度大大增加。比如考虑下面的网络设置：
输入为28x28x256，而串联后的输出为28x28x672。（***设每个滤波操作都通过零填充保持输入尺寸）并且运算花费也非常高：
由于池化操作会保持原输入的深度，所以网络的输出一定会增加深度。解决办法是在进行卷积操作前添加一个“瓶颈层”，该层使用1x1卷积，目的是保留原输入空间尺寸的同时，减小深度，只要卷积核的数量小于原输入的深度即可。
使用这种结构，同样的网络参数设置下，的确会减少计算量：
最终得到的输出为28x28x480。此时总运算量为：
Inception module堆叠成垂直结构，这里方便描述，将模型水平放置：
所以含参数的层总计3+18+1 = 22层。此外，橙色部分的层不计入总层数，这两块的结构都是：AveragePool 5x5+3(V) - Conv 1x1+1(S) - FC - FC - SoftmaxActivation - Output。“该相对较浅的网络在此分类任务上的强大表现表明，网络中间层产生的特征应该是非常有区别性的。 通过添加连接到这些中间层的辅助分类器，我们期望在分类器的较低阶段中鼓励区分，增加回传的梯度信号，并提供额外的正则化。 这些辅助分类器***用较小的卷积核，置于第三和第六个Inception module的输出之上。 在训练期间，它们的损失会加到折扣权重的网络总损失中（辅助分类的损失加权为0.3）。 在预测时，这些辅助网络被丢弃。”——引自原论文
从2015年开始，网络的层数爆发式的增长，15-17年的冠军都是有152层，开始了“深度革命”！
ResNet 是一种非常深的网络，使用了残差连接。细节是：
表现这么好的ResNet仅仅是因为深吗？答案是否定的，研究表明一个56层的卷积层堆叠网络训练误差和测试误差都比一个20层的网络要大，并且不是过拟合的原因，而是更深的网络优化更难。但是一个更深的模型至少能和一个较浅的模型表现一样好，如果想把一个较浅的层变成较深的层，可以用下面的方式来构建：将原来比较浅的层拷贝到较深的层中，然后添加一些等于本身的映射层。现在较深的模型可以更好的学习。
ResNet通过使用多个有参层来学习输入与输入输出之间的 残差映射（ residual m***ing ） ，而非像一般CNN网络（如AlexNet/VGG等）那样使用有参层来直接学习输入输出之间的 底层映射（ underlying m***ing） 。
若将输入设为X，将某一有参网络层映射设为H，那么以X为输入的该层的输出将为H(X)。通常的CNN网络会直接通过训练学习出参数函数H的表达式，从而直接得到 X 到 H(X) 的映射。而 残差学习 则是致力于使用多个有参网络层来学习输入到输入、输出间的残差(H(X) - X)的映射，即学习 X - (H(X) - X) ，然后加上X的 自身映射（identity m***ing） 。也就是说网络的输出仍然是 H(X) - X + X = H(X)，只是学习的只是 (H(X) - X)，X部分直接是本身映射。
残差学习单元通过本身映射的引入在输入、输出之间建立了一条直接的关联通道，从而使得强大的有参层集中精力学习输入、输出之间的残差。一般我们用 来表示残差映射，那么残差学习单元的输出即为： 。当输入、输出通道数相同时，自然可以直接使用 X 进行相加。而当它们之间的通道数目不同时，我们就需要考虑建立一种有效的自身映射函数从而可以使得处理后的输入 X 与输出 Y 的通道数目相同即 。
当X与Y通道数目不同时，有两种自身映射方式。一种是简单地将X相对Y缺失的通道直接补零从而使其能够相对齐，另一种则是通过使用1x1的卷积来表示 Ws 映射从而使得最终输入与输出的通道一致。
实验表明使用一般意义上的有参层来直接学习残差比直接学习输入、输出间映射要容易得多（收敛速度更快），也有效得多（可通过使用更多的层来达到更高的分类精度）。比如在极端情况下，如果自身映射是最优的，那么将残差设为零比通过使用一堆非线性层进行自身映射更容易。
完整的网络结构如下：
对于ResNet-50+的网络，为提高计算效率，使用类似GoogLeNet的“瓶颈层”。像Inception模块那样通过使用1x1卷积来巧妙地缩减或扩张特征图维度从而使得3x3 卷积的卷积核数目不受上一层输入的影响，它的输出也不会影响到下一层。不过它纯是为了节省计算时间进而缩小整个模型训练所需的时间而设计的，对最终的模型精度并无影响。
ResNet的实际训练如下：
实际的训练效果为可以堆叠很多的层而不使准确率下降：152在ImageNet上, 1202层在CIFAR上。现在和预想中的一致，网络越深，训练准确率越高。横扫了2015年所有的奖项，第一次超过人类的识别率。
下面左图通过Top1准确率来比较各种网络的准确性；右图是不同网络的运算复杂度，横轴为计算量，圆圈大小表示内存占用。其中 Inception-v4是 Resnet + Inception。
图中可以看出：
还可以比较前向传播时间和功率消耗：
卷积神经网络
关于花书中卷积网络的笔记记录于 。
卷积神经网络（Convolutional Neural Network，CNN或ConvNet）是一种具有 局部连接、权重共享 等特性的深层前馈神经网络。卷积神经网络是受生物学上感受野的机制而提出。 感受野（Receptive Field） 主要是指听觉、视觉等神经系统中一些神经元的特性，即 神经元只接受其所支配的***区域内的信号 。
卷积神经网络最早是主要用来处理图像信息。如果用全连接前馈网络来处理图像时，会存在以下两个问题：
目前的卷积神经网络一般是由卷积层、汇聚层和全连接层交叉堆叠而成的前馈神经网络，使用反向传播算法进行训练。 卷积神经网络有三个结构上的特性：局部连接，权重共享以及汇聚 。这些特性使卷积神经网络具有一定程度上的平移、缩放和旋转不变性。
卷积（Convolution）是分析数学中一种重要的运算。在信号处理或图像处理中，经常使用一维或二维卷积。
一维卷积经常用在信号处理中，用于计算信号的延迟累积。***设一个信号发生器每个时刻t 产生一个信号 ，其信息的衰减率为 ，即在 个时间步长后，信息为原来的 倍。***设 ，那么在时刻t收到的信号 为当前时刻产生的信息和以前时刻延迟信息的叠加：
我们把 称为 滤波器（Filter）或卷积核（Convolution Kernel） 。***设滤波器长度为 ，它和一个信号序列 的卷积为：
信号序列 和滤波器 的卷积定义为：
一般情况下滤波器的长度 远小于信号序列长度 ，下图给出一个一维卷积示例，滤波器为 ：
二维卷积经常用在图像处理中。因为图像为一个两维结构，所以需要将一维卷积进行扩展。给定一个图像 和滤波器 ，其卷积为：
下图给出一个二维卷积示例：
注意这里的卷积运算并不是在图像中框定卷积核大小的方框并将各像素值与卷积核各个元素相乘并加和，而是先把卷积核旋转180度，再做上述运算。
在图像处理中，卷积经常作为特征提取的有效方法。一幅图像在经过卷积操作后得到结果称为 特征映射（Feature Map） 。
最上面的滤波器是常用的高斯滤波器，可以用来对图像进行 平滑去噪 ；中间和最下面的过滤器可以用来 提取边缘特征 。
在机器学习和图像处理领域，卷积的主要功能是在一个图像（或某种特征）上滑动一个卷积核（即滤波器），通过卷积操作得到一组新的特征。在计算卷积的过程中，需要进行卷积核翻转（即上文提到的旋转180度）。 在具体实现上，一般会以互相关操作来代替卷积，从而会减少一些不必要的操作或开销。
互相关（Cross-Correlation）是一个衡量两个序列相关性的函数，通常是用滑动窗口的点积计算来实现 。给定一个图像 和卷积核 ，它们的互相关为：
互相关和卷积的区别仅在于卷积核是否进行翻转。因此互相关也可以称为不翻转卷积 。当卷积核是可学习的参数时，卷积和互相关是等价的。因此，为了实现上（或描述上）的方便起见，我们用互相关来代替卷积。事实上，很多深度学习工具中卷积操作其实都是互相关操作。
在卷积的标准定义基础上，还可以引入滤波器的 滑动步长 和 零填充 来增加卷积多样性，更灵活地进行特征抽取。
滤波器的步长（Stride）是指滤波器在滑动时的时间间隔。
零填充（Zero Padding）是在输入向量两端进行补零。
***设卷积层的输入神经元个数为 ，卷积大小为 ，步长为 ，神经元两端各填补 个零，那么该卷积层的神经元数量为 。
一般常用的卷积有以下三类：
因为卷积网络的训练也是基于反向传播算法，因此我们重点关注卷积的导数性质：
***设 。
， ， 。函数 为一个标量函数。
则由 有：
可以看出， 关于 的偏导数为 和 的卷积 ：
同理得到：
当 或 时， ，即相当于对 进行 的零填充。从而 关于 的偏导数为 和 的宽卷积 。
用互相关的“卷积”表示，即为（注意 宽卷积运算具有交换性性质 ）：
在全连接前馈神经网络中，如果第 层有 个神经元，第 层有 个神经元，连接边有 个，也就是权重矩阵有 个参数。当 和 都很大时，权重矩阵的参数非常多，训练的效率会非常低。
如果***用卷积来代替全连接，第 层的净输入 为第 层活性值 和滤波器 的卷积，即：
根据卷积的定义，卷积层有两个很重要的性质：
由于局部连接和权重共享，卷积层的参数只有一个m维的权重 和1维的偏置 ，共 个参数。参数个数和神经元的数量无关。此外，第 层的神经元个数不是任意选择的，而是满足 。
卷积层的作用是提取一个局部区域的特征，不同的卷积核相当于不同的特征提取器。
特征映射（Feature Map）为一幅图像（或其它特征映射）在经过卷积提取到的特征，每个特征映射可以作为一类抽取的图像特征。 为了提高卷积网络的表示能力，可以在每一层使用多个不同的特征映射，以更好地表示图像的特征。
在输入层，特征映射就是图像本身。如果是灰度图像，就是有一个特征映射，深度 ；如果是彩色图像，分别有RGB三个颜色通道的特征映射，深度 。
不失一般性，***设一个卷积层的结构如下：
为了计算输出特征映射 ，用卷积核 分别对输入特征映射 进行卷积，然后将卷积结果相加，并加上一个标量偏置 得到卷积层的净输入 再经过非线性激活函数后得到输出特征映射 。
在输入为 ，输出为 的卷积层中，每个输出特征映射都需要 个滤波器以及一个偏置。***设每个滤波器的大小为 ，那么共需要 个参数。
汇聚层（Pooling Layer）也叫子***样层（Subsampling Layer），其作用是进行特征选择，降低特征数量，并从而减少参数数量。
常用的汇聚函数有两种：
其中 为区域 内每个神经元的激活值。
可以看出，汇聚层不但可以有效地减少神经元的数量，还可以使得网络对一些小的局部形态改变保持不变性，并拥有更大的感受野。
典型的汇聚层是将每个特征映射划分为 大小的不重叠区域，然后使用最大汇聚的方式进行下***样。汇聚层也可以看做是一个特殊的卷积层，卷积核大小为 ，步长为 ，卷积核为 函数或 函数。过大的***样区域会急剧减少神经元的数量，会造成过多的信息损失。
一个典型的卷积网络是由卷积层、汇聚层、全连接层交叉堆叠而成。
目前常用卷积网络结构如图所示，一个卷积块为连续 个卷积层和 个汇聚层（ 通常设置为 ， 为 或 ）。一个卷积网络中可以堆叠 个连续的卷积块，然后在后面接着 个全连接层（ 的取值区间比较大，比如 或者更大； 一般为 ）。
目前，整个网络结构 趋向于使用更小的卷积核（比如 和 ）以及更深的结构（比如层数大于50） 。此外，由于卷积的操作性越来越灵活（比如不同的步长），汇聚层的作用变得也越来越小，因此目前比较流行的卷积网络中， 汇聚层的比例也逐渐降低，趋向于全卷积网络 。
在全连接前馈神经网络中，梯度主要通过每一层的误差项 进行反向传播，并进一步计算每层参数的梯度。在卷积神经网络中，主要有两种不同功能的神经层：卷积层和汇聚层。而参数为卷积核以及偏置，因此 只需要计算卷积层中参数的梯度。
不失一般性，第 层为卷积层，第 层的输入特征映射为 ，通过卷积计算得到第 层的特征映射净输入 ，第 层的第 个特征映射净输入
由 得：
同理可得，损失函数关于第 层的第 个偏置 的偏导数为：
在卷积网络中，每层参数的梯度依赖其所在层的误差项 。
卷积层和汇聚层中，误差项的计算有所不同，因此我们分别计算其误差项。
第 层的第 个特征映射的误差项 的具体推导过程如下：
其中 为第 层使用的激活函数导数， 为上***样函数（upsampling），与汇聚层中使用的下***样操作刚好相反。如果下***样是最大汇聚（max pooling），误差项 中每个值会直接传递到上一层对应区域中的最大值所对应的神经元，该区域中其它神经元的误差项的都设为0。如果下***样是平均汇聚（meanpooling），误差项 中每个值会被平均分配到上一层对应区域中的所有神经元上。
第 层的第 个特征映射的误差项 的具体推导过程如下：
其中 为宽卷积。
LeNet-5虽然提出的时间比较早，但是是一个非常成功的神经网络模型。基于LeNet-5 的手写数字识别系统在90年代被美国很多银行使用，用来识别支票上面的手写数字。LeNet-5 的网络结构如图：
不计输入层，LeNet-5共有7层，每一层的结构为：
AlexNet是第一个现代深度卷积网络模型，其首次使用了很多现代深度卷积网络的一些技术方法，比如***用了ReLU作为非线性激活函数，使用Dropout防止过拟合，使用数据增强来提高模型准确率等。AlexNet 赢得了2012 年ImageNet 图像分类竞赛的冠军。
AlexNet的结构如图，包括5个卷积层、3个全连接层和1个softmax层。因为网络规模超出了当时的单个GPU的内存限制，AlexNet 将网络拆为两半，分别放在两个GPU上，GPU间只在某些层（比如第3层）进行通讯。
AlexNet的具体结构如下：
在卷积网络中，如何设置卷积层的卷积核大小是一个十分关键的问题。 在Inception网络中，一个卷积层包含多个不同大小的卷积操作，称为Inception模块。Inception网络是由有多个inception模块和少量的汇聚层堆叠而成 。
v1版本的Inception模块，***用了4组平行的特征抽取方式，分别为1×1、3× 3、5×5的卷积和3×3的最大汇聚。同时，为了提高计算效率，减少参数数量，Inception模块在进行3×3、5×5的卷积之前、3×3的最大汇聚之后，进行一次1×1的卷积来减少特征映射的深度。如果输入特征映射之间存在冗余信息， 1×1的卷积相当于先进行一次特征抽取 。
一文看懂四种基本的神经网络架构
原文链接：
更多干货就在我的个人博客 欢迎关注
刚刚入门神经网络，往往会对众多的神经网络架构感到困惑，神经网络看起来复杂多样，但是这么多架构无非也就是三类，前馈神经网络，循环网络，对称连接网络，本文将介绍四种常见的神经网络，分别是CNN，RNN，DBN，GAN。通过这四种基本的神经网络架构，我们来对神经网络进行一定的了解。
神经网络是机器学习中的一种模型，是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
一般来说，神经网络的架构可以分为三类：
前馈神经网络：
这是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输出。如果有多个隐藏层，我们称之为“深度”神经网络。他们计算出一系列改变样本相似性的变换。各层神经元的活动是前一层活动的非线性函数。
循环网络：
循环网络在他们的连接图中定向了循环，这意味着你可以按照箭头回到你开始的地方。他们可以有复杂的动态，使其很难训练。他们更具有生物真实性。
循环网络的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。
循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
对称连接网络：
对称连接网络有点像循环网络，但是单元之间的连接是对称的（它们在两个方向上权重相同）。比起循环网络，对称连接网络更容易分析。这个网络中有更多的限制，因为它们遵守能量函数定律。没有隐藏单元的对称连接网络被称为“Hopfield 网络”。有隐藏单元的对称连接的网络被称为玻尔兹曼机。
其实之前的帖子讲过一些关于感知机的内容，这里再复述一下。
首先还是这张图
这是一个M-P神经元
一个神经元有n个输入，每一个输入对应一个权值w，神经元内会对输入与权重做乘法后求和，求和的结果与偏置做差，最终将结果放入激活函数中，由激活函数给出最后的输出，输出往往是二进制的，0 状态代表抑制，1 状态代表激活。
可以把感知机看作是 n 维实例空间中的超平面决策面，对于超平面一侧的样本，感知器输出 1，对于另一侧的实例输出 0，这个决策超平面方程是 w⋅x=0。 那些可以被某一个超平面分割的正反样例集合称为线性可分(linearly separable)样例集合，它们就可以使用图中的感知机表示。
与、或、非问题都是线性可分的问题，使用一个有两输入的感知机能容易地表示，而异或并不是一个线性可分的问题，所以使用单层感知机是不行的，这时候就要使用多层感知机来解决疑惑问题了。
如果我们要训练一个感知机，应该怎么办呢？
我们会从随机的权值开始，反复地应用这个感知机到每个训练样例，只要它误分类样例就修改感知机的权值。重复这个过程，直到感知机正确分类所有的样例。每一步根据感知机训练法则来修改权值，也就是修改与输入 xi 对应的权 wi，法则如下：
这里 t 是当前训练样例的目标输出，o 是感知机的输出，η 是一个正的常数称为学习速率。学习速率的作用是缓和每一步调整权的程度，它通常被设为一个小的数值（例如 0.1），而且有时会使其随着权调整次数的增加而衰减。
多层感知机，或者说是多层神经网络无非就是在输入层与输出层之间加了多个隐藏层而已，后续的CNN，DBN等神经网络只不过是将重新设计了每一层的类型。感知机可以说是神经网络的基础，后续更为复杂的神经网络都离不开最简单的感知机的模型，
谈到机器学习，我们往往还会跟上一个词语，叫做模式识别，但是真实环境中的模式识别往往会出现各种问题。比如：
图像分割：真实场景中总是掺杂着其它物体。很难判断哪些部分属于同一个对象。对象的某些部分可以隐藏在其他对象的后面。
物体光照：像素的强度被光照强烈影响。
图像变形：物体可以以各种非仿射方式变形。例如，手写也可以有一个大的圆圈或只是一个尖头。
情景支持：物体所属类别通常由它们的使用方式来定义。例如，椅子是为了让人们坐在上面而设计的，因此它们具有各种各样的物理形状。
卷积神经网络与普通神经网络的区别在于，卷积神经网络包含了一个由卷积层和子***样层构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中，通常包含若干个特征平面(featureMap)，每个特征平面由一些矩形排列的的神经元组成，同一特征平面的神经元共享权值，这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值。共享权值（卷积核）带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。子***样也叫做池化（pooling），通常有均值子***样（mean pooling）和最大值子***样（max pooling）两种形式。子***样可以看作一种特殊的卷积过程。卷积和子***样大大简化了模型复杂度，减少了模型的参数。
卷积神经网络由三部分构成。第一部分是输入层。第二部分由n个卷积层和池化层的组合组成。第三部分由一个全连结的多层感知机分类器构成。
这里举AlexNet为例：
·输入：224×224大小的图片，3通道
·第一层卷积：11×11大小的卷积核96个，每个GPU上48个。
·第一层max-pooling：2×2的核。
·第二层卷积：5×5卷积核256个，每个GPU上128个。
·第二层max-pooling：2×2的核。
·第三层卷积：与上一层是全连接，3*3的卷积核384个。分到两个GPU上个192个。
·第四层卷积：3×3的卷积核384个，两个GPU各192个。该层与上一层连接没有经过pooling层。
·第五层卷积：3×3的卷积核256个，两个GPU上个128个。
·第五层max-pooling：2×2的核。
·第一层全连接：4096维，将第五层max-pooling的输出连接成为一个一维向量，作为该层的输入。
·第二层全连接：4096维
·Softmax层：输出为1000，输出的每一维都是图片属于该类别的概率。
卷积神经网络在模式识别领域有着重要应用，当然这里只是对卷积神经网络做了最简单的讲解，卷积神经网络中仍然有很多知识，比如局部感受野，权值共享，多卷积核等内容，后续有机会再进行讲解。
传统的神经网络对于很多问题难以处理，比如你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。理论上，RNN能够对任何长度的序列数据进行处理。
这是一个简单的RNN的结构，可以看到隐藏层自己是可以跟自己进行连接的。
那么RNN为什么隐藏层能够看到上一刻的隐藏层的输出呢，其实我们把这个网络展开来开就很清晰了。
从上面的公式我们可以看出，循环层和全连接层的区别就是循环层多了一个权重矩阵 W。
如果反复把式2带入到式1，我们将得到：
在讲DBN之前，我们需要对DBN的基本组成单位有一定的了解，那就是RBM，受限玻尔兹曼机。
首先什么是玻尔兹曼机？
[图片上传失败...(image-d36b31-1519636788074)]
如图所示为一个玻尔兹曼机，其蓝色节点为隐层，白色节点为输入层。
玻尔兹曼机和递归神经网络相比，区别体现在以下几点：
1、递归神经网络本质是学习一个函数，因此有输入和输出层的概念，而玻尔兹曼机的用处在于学习一组数据的“内在表示”，因此其没有输出层的概念。
2、递归神经网络各节点链接为有向环，而玻尔兹曼机各节点连接成无向完全图。
而受限玻尔兹曼机是什么呢？
最简单的来说就是加入了限制，这个限制就是将完全图变成了二分图。即由一个显层和一个隐层构成，显层与隐层的神经元之间为双向全连接。
h表示隐藏层，v表示显层
在RBM中，任意两个相连的神经元之间有一个权值w表示其连接强度，每个神经元自身有一个偏置系数b（对显层神经元）和c（对隐层神经元）来表示其自身权重。
具体的公式推导在这里就不展示了
DBN是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和 P(Label|Observation)都做了评估，而判别模型仅仅而已评估了后者，也就是P(Label|Observation)。
DBN由多个限制玻尔兹曼机（Restricted Boltzmann Machines）层组成，一个典型的神经网络类型如图所示。这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。
生成对抗网络其实在之前的帖子中做过讲解，这里在说明一下。
生成对抗网络的目标在于生成，我们传统的网络结构往往都是判别模型，即判断一个样本的真实性。而生成模型能够根据所提供的样本生成类似的新样本，注意这些样本是由计算机学习而来的。
GAN一般由两个网络组成，生成模型网络，判别模型网络。
生成模型 G 捕捉样本数据的分布，用服从某一分布（均匀分布，高斯分布等）的噪声 z 生成一个类似真实训练数据的样本，追求效果是越像真实样本越好；判别模型 D 是一个二分类器，估计一个样本来自于训练数据（而非生成数据）的概率，如果样本来自于真实的训练数据，D 输出大概率，否则，D 输出小概率。
举个例子：生成网络 G 好比*** 制造团伙，专门制造*** ，判别网络 D 好比警察，专门检测使用的货币是真币还是*** ，G 的目标是想方设法生成和真币一样的货币，使得 D 判别不出来，D 的目标是想方设法检测出来 G 生成的*** 。
传统的判别网络：
生成对抗网络：
下面展示一个cDCGAN的例子（前面帖子中写过的）
生成网络
判别网络
最终结果，使用MNIST作为初始样本，通过学习后生成的数字，可以看到学习的效果还是不错的。
本文非常简单的介绍了四种神经网络的架构，CNN，RNN，DBN，GAN。当然也仅仅是简单的介绍，并没有深层次讲解其内涵。这四种神经网络的架构十分常见，应用也十分广泛。当然关于神经网络的知识，不可能几篇帖子就讲解完，这里知识讲解一些基础知识，帮助大家快速入（zhuang）门（bi）。后面的帖子将对深度自动编码器，Hopfield 网络长短期记忆网络（LSTM）进行讲解。
关于举例说明卷积神经网络架构和举例说明卷积神经网络的应用的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。
