卷积神经网络属于哪种模型,卷积神经网络原理

只是学术共享，不代表本公众号立场，侵权联系删除

(在)专业知识

985人工智能博士笔记推荐

zxdmb 《机器学习》 手推笔记正式开源！附pdf下载链接，Github2500星！

深度学习是机器学习和人工智能研究的最新趋势，作为十多年来快速发展的新领域，越来越受到研究者的关注。 卷积神经网络(CNN )模型是深度学习模型中最重要的经典结构之一，其性能近年来在深度学习任务中逐渐提高。 由于可以自动学习样本数据的特征表示，卷积神经网络已经广泛应用于图像分类、目标检测、语义分割、自然语言处理等领域。首先分析了典型卷积神经网络模型为提高其性能增加网络深度以及宽度的模型结构，分析了采用注意力机制进一步提升模型性能的网络结构，然后归纳分析了目前的特殊模型结构，最后总结并讨论了卷积神经网络在相关领域的应用，并对未来的研究方向进行展望。

地址：

33558 fcst.ceaj.org/cn/abstract/abstract 2521.shtml

卷积神经网络(convolutional neural network，CNN ) )已广泛应用于计算机视觉(1-5)、自然语言处理(6-7)等领域。 卷积神经网络兴起之前，主要依靠人工针对特定问题设计算法。 例如，使用Sobel、log(LaplacianofGaussian )、Canny、Prewitt等[8- 11]运算符进行边缘检测。 采用Harris、dog、differenceofGaussian、fast、featuresfromacceleratedsegmenttest、sift、scaleinvariantfeaturetransform特征提取卷积神经网络可以自动从训练样本中学习和分类特征，解决了人工特征设计的局限性。 神经网络思想来源于1943年McCulloch和Pitts提出的神经元模型[19]，简称MCP神经元模型。 它是利用计算机模拟人类神经元反应的过程，具有开创性意义。 该模型将神经元的反应简化为三个过程：输入信号的线性加权、加法和非线性激活。 1958-1969年是神经网络模型发展的第一阶段，被称为第一代神经网络模型。 1958年Rosenblatt首次在MCP模型中添加学习功能，并应用于机器学习，发明了一种传感器算法[20]，利用梯度下降法从训练样本中自动学习更新权重，可以对输入的多维数据进行二分类，其理论和实践效果是神经1969年，美国数学家和人工智能先驱Minsky在书中证明探测器本质上是线性模型[21]。 由于只能处理线性分类问题，最简单的异或问题也不能准确分类，神经网络的研究也陷入了近20年的停滞。 1986-1988年是神经网络模型发展的第二阶段，被称为第二代神经网络模型。 1986年Rumelhart等人提出了误差反向传播算法back propagation algorithm，BP ] [ 22 ]。

BP算法采用Sigmoid进行非线性映射，有效解决了非线性分类和学习问题，引起了神经网络第二次研究的高潮。 BP网络是迄今为止最常用的神经网络，目前许多神经网络模型都采用BP网络或其变化形式。 早期神经网络没有严密的数学理论支撑，在接下来的近十年中，由于拟合容易、训练速度慢，1991年有人指出反向传播算法在反向传播过程中梯度消失的问题[23]，神经网络再次出现

1998年LeCun发明了LeNet-5，在Mnist数据集上达到98%以上的识别精度，形成了影响力较大的卷积神经网络结构，但此时神经网络的发展正在走下坡路，没有引起足够的重视。 从感知机提出到2006年以前，这个阶段被称为浅层学习，2006年现在是神经网络的第三个阶段，称为深度学习。 深度学习分为快速发展期(2006—2012年)和爆发期(2012年至今)，2006年Hinton提出了无监督的“逐层初始化”战略，以降低训练难度，具有多隐藏层的深度信念网络

随着深度学习理论的研究和发展，研究者提出了一系列卷积神经网络模型。 为了比较不同模型的质量，收集并整理了文献中模型在分类任务中的识别率。 图1

2012 年，由 愤怒的哑铃 Krizhevshy 提出的 愤怒的哑铃Net给卷 积神经网络迎来了历史性的突破。愤怒的哑铃Net 在百万 量级的 ImageNet数据集上对于图像分类的精度大幅 度超过传统方法，一举摘下了视觉领域竞赛 ILSVRC2012的桂冠。自 愤怒的哑铃Net之后，研究者从卷积神经网 络的结构出发进行创新，主要有简单的堆叠结构模 型，比如 ZFNet、VGGNet、MSRNet。堆叠结构模型通 过改进卷积神经的基本单元并将其堆叠以增加网络 的深度提升模型性能，但仅在深度这单一维度提升 模 型 性 能 具 有 瓶 颈 ；后 来 在 NIN（network in network）模型提出使用多个分支进行计算的网中网结 构模型，使宽度和深度都可增加，具有代表性的模型 有 Inception 系列模型等；随着模型深度以及宽度的 增加，网络模型出现参数量过多、过拟合以及难以训 练等诸多问题。ResNet 提出残差结构后，为更深层 网络构建提出解决方案，随即涌现出很多残差结构模 型，比如基于 ResNet 改进后的 ResNeXt、DenseNet、 PolyNet、WideResNet，并且 Inception也引入残差结构 形成了 Inception-ResNet-block，以及基于残差结构并 改进其特征通道数量增加方式的 DPResNet；与之前 在空间维度上提升模型性能的方法相比，注意力机 制模型通过通道注意力和空间注意力机制可以根据 特征通道重要程度进一步提升模型性能，典型的模 型为 SENet、SKNet 以及 CBAM（convolutional block attention module）。

传统的卷积神经网络模型性能十分优秀，已经 应用到各个领域，具有举足轻重的地位。由于卷积 神经网络的模型十分丰富，有些模型的结构或用途 比较特殊，在本文中统称为特殊模型，包括具有简单的结构和很少参数量的挤压网络模型 SqueezeNet，采 用无监督学习的生成对抗网络模型（generative adversarial network，GAN），其具有完全相同的两路网络 结构以及权值的孪生神经网络模型 微笑的钥匙，以 及通过线性运算生成其他冗余特征图的幽灵网络 GhostNet。由于卷积神经网络的一系列突破性研究成果， 并根据不同的任务需求不断改进，使其在目标检测、 语义分割、自然语言处理等不同的任务中均获得了 成功的应用。

基于以上认识，本文首先概括性地介绍了卷积 神经网络的发展历史，然后分析了典型的卷积神经 网络模型通过堆叠结构、网中网结构、残差结构以及 注意力机制提升模型性能的方法，并进一步介绍了 特殊的卷积神经网络模型及其结构，最后讨论了卷 积神经网络在目标检测、语义分割以及自然语言处 理领域的典型应用，并对当前深度卷积神经网络存 在的问题以及未来发展方向进行探讨。

-------------------

END

--------------------

我是柔弱的皮带Kings，985AI博士，华为云专家、CSDN博客专家（人工智能领域优质作者）。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容，欢迎一起交流学习、生活各方面的问题，一起加油进步！

我们微信交流群涵盖以下方向（但并不局限于以下内容）：人工智能，计算机视觉，自然语言处理，目标检测，语义分割，自动驾驶，GAN，强化学习，SLAM，人脸检测，最新算法，最新论文，OpenCV，TensorFlow，PyTorch，开源框架，学习方法...

这是我的私人微信，位置有限，一起进步！

柔弱的皮带的公众号，欢迎关注，干货多多

手推笔记：

思维导图  |  “模型评估与选择”  |  “线性模型”  |  “决策树”  |  “神经网络”  |  支持向量机（上）  |  支持向量机（下）  |  贝叶斯分类（上）  |  贝叶斯分类（下）  |  集成学习（上）  |  集成学习（下）  |  聚类  |  降维与度量学习  |  稀疏学习  |  计算学习理论  |  半监督学习  |  概率图模型  |  规则学习

增长见识：

博士毕业去高校难度大吗？  |  研读论文有哪些经验之谈？  |  聊聊跳槽这件事儿  |  聊聊互联网工资收入的组成  |  机器学习硕士、博士如何自救？  |  聊聊Top2计算机博士2021年就业选择  |  非科班出身怎么转行计算机？  |  有哪些相见恨晚的科研经验？  |  经验 | 计算机专业科班出身如何提高自己编程能力？  |  博士如何高效率阅读文献  |  有哪些越早知道越好的人生经验？  |  

其他学习笔记：

PyTorch张量Tensor  |  卷积神经网络CNN的架构  |  深度学习语义分割  |  深入理解Transformer  |  Scaled-YOLOv4！  |  PyTorch安装及入门  |  PyTorch神经网络箱  |  Numpy基础  |  10篇图像分类  |  CVPR 2020目标检测  |  神经网络的可视化解释  |  YOLOv4全文解读与翻译总结  | 

点分享

点收藏

点点赞

点在看