获得上面的计算机视觉联盟更多的干货
只是学术共享,不代表本公众号立场,侵权联系删除
新智元
985人工智能博士笔记推荐
潇洒的咖啡豆 《机器学习》 手推笔记正式开源!附pdf下载链接,Github2500星!
随着AI的发展,卷积神经网络(Convolutional Neural Network,CNN )已经成为员工使用最典型、最高效的神经网络体系结构之一。
1980年,日本科学家dddxs在论文《Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position》中提出了包括卷积层、池化层的神经网络结构。
1998年,颜值le Cun等人发表论文《Gradient-Based Learning Applied to Document Recognition》,其中提出了LeNet-5,将BP算法应用于神经网络结构训练,形成了现代卷积神经网络的雏形。
随着后续的改进和发展,CNN的框架和结构趋于成熟,性能逐渐上升,逐渐发展成为目前我们看到的经典结构。
研究人员和工业界的员工也已经把CNN作为一个自然的框架,并在此基础上进行改进和创新。 当然,燕乐村也已经成为大家心中的“深度学习三巨头”之一。
迄今为止,CNN已广泛应用于图像分类、物体检测、物体跟踪、姿态估计、文本检测识别、场景标记、目标定位、物体分割等领域,为人们的日常生活提供了极大的便利。
都知道,想到并创造出一个新事物,远远比接受和掌握它要困难百倍。
那大家有没有想象过,CNN刚诞生的时候,场景是怎么样的?
今天,Reddit之前的帖子发布了视频:
视频记录了1993年32岁的杨乐村展示的世界上第一个用于文本识别的卷积网络。
注意,这是 《Gradient-Based Learning Applied to Document Recognition》 发布的五年以前。
视频详细显示了当时Lecun等人在手动数字数据集上的实验结果。
无一例外,当时的CNN已经可以以强大的准确率,正确对应输入,表现了完美的结果
现在,让我们来看看过去是如何识别手写数字的。 下图是过去识别手写数字的网络结构:
每层网络都与相邻层连接。 然而,这样不考虑图像中的像素的空间分布,并且不管两个像素是靠近还是非常远都同样看待它是不合理的。
另一方面,可以构建CNN的出现,考虑到了输入值的(像素的)空间分布更深的网络结构,具有更好的识别效果。
通过对旧神经网络框架的调整和修改,以及BP算法的引入,识别效果惊人地提高,为经典框架CNN的发展真正打开了大门。
此外,算法输出的结果可以“学习”到输入数字的位置,不同的输入情况下具有很好的鲁棒性。 这在1993年,完全可以说是惊人的。
另外,这次曝光出来的实验涉及的输入类型,并不局限于MNIST
当时的LeCun和其他研究者可能无法想象小实验室提出的体系结构将对未来整个AI的发展起到重要作用。
看着当时他们脸上的笑容,加上满满的成就感,还有更多的是热爱、激情,以及对研究结果的兴奋
穿着最朴素的衣服,躲在小办公室里,但他们的光芒,闪耀着谁都不能忽视的光芒。
是啊,不管功利,真正追求自己真正爱的东西的时候,每个人都会有吸引的光芒。
现在,世界上很多研究者都在努力探索,开拓未来,为后人打开窗户。
也许有人会怀疑自己的工作是否真的有意义
,是的,一份工作的真正价值,并不一定会体现在当下,就像直到2012年,Imagenet图像识别大赛中,Hinton组的论文《ImageNet Classification with Deep Convolutional Neural Networks》中提到的Alexnet引入了全新的深层结构和dropout方法,一下子把error rate从25%以上提升到了15%,颠覆了图像识别领域之后,CNN才开始得到最蓬勃的发展一样。只要你热爱你所做的,并不断去尝试,不管一时成功还是失败,它都具有极大的意义。
正是整个行业所有从业人员都在奋力地奔跑,这个领域的发展,才焕发出了最大的活力,其中的每个正在学术一线钻研的科研人员,他们的每一份尝试,每一次探索,每一次突破,都值得我们给予最大的敬意。
参考链接:
https://www.reddit.com/r/MachineLearning/comments/kuc6tz/d_a_demo_from_1993_of_32yearold_yann_lecun/
-------------------
END
--------------------
我是ljdzxcKings,985AI博士,华为云专家、CSDN博客专家(人工智能领域优质作者)。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容,欢迎一起交流学习、生活各方面的问题,一起加油进步!
我们微信交流群涵盖以下方向(但并不局限于以下内容):人工智能,计算机视觉,自然语言处理,目标检测,语义分割,自动驾驶,GAN,强化学习,SLAM,人脸检测,最新算法,最新论文,OpenCV,TensorFlow,PyTorch,开源框架,学习方法...
这是我的私人微信,位置有限,一起进步!
ljdzxc的公众号,欢迎关注,干货多多
手推笔记:
思维导图 | “模型评估与选择” | “线性模型” | “决策树” | “神经网络” | 支持向量机(上) | 支持向量机(下) | 贝叶斯分类(上) | 贝叶斯分类(下) | 集成学习(上) | 集成学习(下) | 聚类 | 降维与度量学习 | 稀疏学习 | 计算学习理论 | 半监督学习 | 概率图模型 | 规则学习
增长见识:
博士毕业去高校难度大吗? | 研读论文有哪些经验之谈? | 聊聊跳槽这件事儿 | 聊聊互联网工资收入的组成 | 机器学习硕士、博士如何自救? | 聊聊Top2计算机博士2021年就业选择 | 非科班出身怎么转行计算机? | 有哪些相见恨晚的科研经验? | 经验 | 计算机专业科班出身如何提高自己编程能力? | 博士如何高效率阅读文献 | 有哪些越早知道越好的人生经验? |
其他学习笔记:
PyTorch张量Tensor | 卷积神经网络CNN的架构 | 深度学习语义分割 | 深入理解Transformer | Scaled-YOLOv4! | PyTorch安装及入门 | PyTorch神经网络箱 | Numpy基础 | 10篇图像分类 | CVPR 2020目标检测 | 神经网络的可视化解释 | YOLOv4全文解读与翻译总结 |
点分享
点收藏
点点赞
点在看