今天为大家介绍5篇值得一读的ECCV 2020 oral【图像识别】相关论文。 ECCV与CVPR、ICCV并称计算机视觉领域的三大峰会。 ECCV 2020共有5025个帖子,其中1361个被接受,接受率为27%。
ECCV 2020论文列表的地址:
359 ECCV 2020 .欧盟/接受的-纸张/
第1篇:自适应学习网络宽度和输入分辨率
论文主题: 《MutualNet: Adaptive ConvNet via Mutual Learning from Network Width and Resolution》
下载地址: https://arxiv.org/abs/1909.12978
github:https://github.com/taoyang 1122/mutual net
介绍:深度神经网络已经在各种感知任务中取得了巨大的胜利。 但是,由于深度神经网络通常需要大量的计算资源,因此很难部署到移动设备和嵌入式系统中。 这篇文章的贡献如下
强调输入分辨率对设计高效网络的重要性。 迄今为止的研究要么无视它,要么从网络结构中分离出来。 对此,本文学习将网络宽度和输入分辨率嵌入统一的相互学习框架中,在运行时实现自适应精度和效率权衡的深度神经网络(MutualNet )。 进行了大量实验,证明了MutualNet的性能明显优于独立训练的网络。 我们为了分析所提出的相互学习方案,进行了全面的消融研究。 我们的框架期待着作为即插即用战略提高单个网络的性能,证明了其性能大大超过了一般的性能提高方法,如数据扩展、SENet和知识蒸馏。 推荐的体系结构是通用的培训计划,与模式无关。 无需调整结构,即可应用于任何网络。 这与其他最先进的技术兼容。 例如神经结构检索(NAS )、自动数据增强技术。 本文提出了在每秒浮点运算次数等动态资源约束下训练网络的方法该方法提出了输入分辨率和网络宽度的相互学习方案,在运行时实现了自适应精度-效率权衡的约束,在图像分类、目标检测和实例分割等各种任务中,显著提高了轻量级网络的精度和效率权衡。 在COCO目标的检测、实例的分割和移动学习等方面也验证了该方法的优越性。 令人惊讶的是,MutualNet的培训战略提高了各个网络的性能,效率(GPU搜索时间) 15000 vs 0)、准确性) imagenet336077.6 ) vs78.6 ) )方面强大的自动数据扩展技术
证明了该相互学习方案也是提高单一网络性能的有效训练策略。 该框架的通用性使得它能够很好地转换成通用的问题域,还可以扩展到视频输入和3D神经网络,利用其空间和时间信息。
总体框架如下:
第2篇:基于随机特征采样和插值的空间自适应推理
论文主题: 《Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation》
下载地址: https://arxiv.org/pdf/2003.08866.pdf
github :尚未发现(欢迎补充)消息)
介绍:卷积神经网络(CNN )的特征映射普遍存在大量的空间冗余、重复处理。 为了减少这种额外的计算,提出了减少卷积网络计算量的方法。 只计算稀疏采样位置的特征,根据激活响应概率选择这些位置,利用有效的插值过程密集重构特征图。
利用特征映射固有的稀疏性和空间冗余性,避免了在可以有效插值的空间位置进行昂贵的计算。
框架图:
第3篇:开放集识别的混合模型
论文主题: 《Hybrid Models for Open Set Recognition》
下载地址: https://arxiv.org/abs/2003.12506
github :尚未发现(欢迎补充)消息)
介绍:为了识别开放集,需要用于检测不属于训练集任何类的样本的分类器,现有方法适合于训练样本的嵌入空间
概率分布,并根据这个分布来检测离群点。然而,这种分类只关注已知的类,对于区分未知的类可能没有什么效果。本文认为,表示空间应该由内层分类器和密度估计器(作为离群点检测器)共同学习。为此,提出了OpenHybrid框架,该框架由一个编码器将输入数据编码到一个联合嵌入空间,一个分类器将样本分类到一个内部类,以及一个基于流的密度估计器来检测样本是否属于未知类别。大量的实验表明我们的方法达到了最先进的水平。基于流的模型的一个常见问题是,它们通常为分布外的样本分配更大的可能性。通过学习一个联合特征空间,以及在不同的数据集上进行观察,这个问题得到了解决。研究还表明,联合训练是促进开放集的识别性能的另一个关键因素。框架图:
第4篇:梯度集中(GC):一种新的深层神经网络优化技术
论文题目:《Gradient Centralization: A New Optimization Technique for Deep Neural Networks》
下载地址: https://arxiv.org/abs/2004.01461
github: https://github.com/Yonghongwei/Gradient-Centralization
介绍:优化技术对于有效地训练深度神经网络(DNN)具有重要意义。与现有的基于激活度或权值的优化方法不同,本文提出了一种新的优化技术,即梯度集中(gradient centralization,GC),它通过将梯度向量集中到零均值的方式,直接对梯度进行操作。通过综合实验表明,GC可以对权值空间和输出特征空间进行规整,可以很好地应用于不同优化器和网络架构下的不同任务,提高了训练效率和泛化性能。
框架图:
第5篇:多任务学习增强对抗鲁棒性
论文题目:《Multi-task Learning Increases Adversarial Robustness》
下载地址:https://arxiv.org/pdf/2007.07236.pdf
github:暂未发现(欢迎留言补充)
介绍:虽然深度网络在一系列计算机视觉基准上达到了很强的精确度,但它们仍然容易受到对手的攻击,一些无法察觉的干扰数据欺骗了网络。本文提供了理论和实证分析,将一个模型的对抗鲁棒性与它所训练的任务数量联系起来。在两个数据集上的实验表明,攻击模型的难度随着目标任务数量的增加而增加。此外,我们的结果表明,当模型在同时进行多任务训练时,它们在单个任务的对抗攻击中会变得更稳健。也就是说,训练任务数量低的情况下,模型更容易受到对手的攻击。我们的工作是第一次将这种脆弱性与多任务学习联系起来,并暗示了一个新的研究方向,以理解和减轻这种脆弱性。