机器的心被释放了
机器心编辑部
人工智能顶会ICLR 2020将于明年4月26日在埃塞俄比亚首都亚的斯亚贝巴举行。 不久前，大会正式公布了论文接受结果。 最终提交的2594篇论文中，有687篇被接受，接受率为26.5%。 华为方舟及其合作实验室在ICLR 2020上收到了多篇论文，介绍了其中的一篇聚光灯文章。
在这篇论文中，来自上海交通大学和华为诺亚方舟实验室的研究人员提出了一种基于部分通道采样的内存高效的微网络结构搜索方法，能够显著提高微式搜索的速度和性能。 该方法在CIFAR10数据集上，仅需0.1GPU天(单卡1.5小时)即可完成一次搜索过程，测试错误率为2.57% )； 直接在ImageNet数据集上搜索，该方法也只需要3.8GPU天(8卡11.5小时)。 另外，在ImageNet的移动设置(600M运算)中，top-1/top-5测试错误率将达到24.2%/7.3%。 幸运的是，该方法表现出了不同参数设定下的搜索稳定性，可以很容易地应用于不同的实际场景。 论文地址https://arxiv.org/abs/1907.05737代码地址3359 Github.com/yuhui XU 1993/PC-Dar TS1.摘要最近，可微分的网络结构搜索方法[1]取得了很大的进步， 但是，由于可微分的结构搜索方法需要联合训练超级网络，因此面临着巨大的内存消耗和从超级网络向子网的迁移稳定性这两个棘手的课题。 本文提出一种在超网络训练中，对只有部分信道进入核心的多项选择运算进行采样的有效信道采样方法。 信道采样不仅可以缓解超网络的“过拟合”现象，还可以大幅降低其显著的内存消耗，在训练中增加batch-size，从而提高结构搜索的速度和稳定性。 但是，信道采样会导致超网络的边缘选择不均匀，增加随机近似对超网络的干扰。 为了解决这个问题，文章进一步提出了边正则化方法，即利用一组额外的边权参数来降低搜索中的不确定性。 经过这两个改进，该方法的搜索速度更快，性能更稳定，精度也更高。 使用CIFAR10数据集，一个V100型GPU只需要约1.5个小时就可以完成整个搜索过程。 即使直接用ImageNet搜索，使用8枚V100型GPU也只需要11.5小时。 此外，该方法在网络结构测试精度上全面超过了现有的可微分网络结构搜索方法。 2 .引言和基础网络结构检索(NAS )是当今AutoML的重要方向，引起越来越多工业界和学术界研究者的兴趣。 NAS的主要方法是构建较大的结构空间，开发高效的算法来探索这个空间，在不同的约束(网络大小、延迟等)下找到优秀的网络结构。 与以往强化学习和进化算法那样需要超大规模运算消耗的方法不同，单触发网络结构搜索大大降低了搜索消耗，更容易将网络结构搜索元素应用于现实问题。 将DARTS[1]操作的选择转换为权衡一系列操作的重要性。 由此，整个框架能够对结构参数进行微分，能够端到端地有效地进行网络结构搜索算法。 DARTS是目前最普及的网络结构检索方法之一，但仍存在内存消耗量大、从超级网络向子网迁移的性质不稳定等问题。 本文提出了一种部分连接Darts(partially-connecteddarts，PC-DARTS ) )以降低原始算法的显着内存消耗，同时提高检索稳定性的简单有效的方法。 我们的中心思想非常直观。 与以前将超级网络中的所有通道输入到选择对象操作不同，我们将随机采样通道的一部分放入选择对象操作，跳过其余部分并与前一部分的输出直接并联。 这样，我们通过随机采样的方式，得到了超网络的近似。 这种近似方法不仅可以大大减少内存和运算的消耗，还可以以某种形式抑制操作搜索的精度，降低了超级网络自身被过拟合的风险，提高了子网的性能。 但是，一些渠道连接会产生负面的效果。 超级网络连接的选择会变得不稳定，因为每次重复超级网络训练时都会对不同的通道进行采样。
因此，我们提出边正则化方法，通过引入一组额外的边权参数，在边的层面上进行显式选择，使网络搜索过程更加稳定。
图1:PC-DARTS的整体框架图。 上半部分是频道连接的一部分，下半部分是边缘正规化。 3 .方法3.1基线方法： DARTS文章的方法采用DARTS作为基础框架。 根据DARTS的设定，本文检索normal cell和reduction cell的结构，并用其构建测试网络。 在此，各cell被定义为具有n个节点的有向无环图(Dag (Dag ) )，各节点可以用于下一个节点的输入。 节点之间通过由softmax加权的操作连接，节点之间
i 与节点 j 之间为例可表示为：各前导边最终相加，汇入目标节点，即：
而 cell 的输出节点由中间节点按 channel 方向拼接而成。3.2 部分通道连接（Partial Channel Connections）DARTS 的一个明显的缺点在于其内存开销大。如果 表示搜索空间的大小，那么训练一个超网络所需要的内存消耗大约是一个正常网络的 倍。为了解决这个问题，本文提出一种通道采样策略，只随机采样部分通道输入待选操作。以超网络中节点 i 输入节点 j 为例，被选择的通道如正常搜索算法一样被输入 个操作的选择过程，而未被选择的通道直接与操作的输出并联作为下一个节点的输入。可表示为：
实际应用中，我们设置采样通道的比例为 1/K。其中，K 是一个超参数，用于调节超网络的近似精度和搜索速度之间的平衡。其作用将在消融实验部分进行分析。通道采样策略，使得超网络的显存消耗降低为原先的 1/K。因此，在相同的硬件上，我们就能够使用原先 K 倍的 batchsize 来进行网络结构搜索。这带来了两个好处：结构搜索的速度大约变为原先的 K 倍；同时，更大的 batchsize 意味着每次的迭代中可以采样更多的数据，可以提升结构搜索的稳定性。3.3 边正则化（Edge Normalizetion）通过 DARTS 搜索最终确定的结构，每个节点只有两个输入。从实际操作上看，在搜索过程结束后，DARTS 在每条边上只保留结构参数最大的操作，而每个节点的输入只保留最大的两个结构参数对应的边。然而，部分通道连接使得每次结构参数优化时，采样的是不同的通道。如果依然通过同样的方式来确定最优边，就可能增大超网络和子网络直接的误差，带来不稳定的搜索结果。为了解决这个问题，我们提出边正则化方法，即引入额外一组边参数β_{i,j} 来显式地加权边：
通过在训练超网络的过程中共享β_{i,j}，网络搜索对通道采样操作不再敏感，整个搜索过程也更加稳定。在后面的消融实验中我们看到，即使在原始的 DARTS 上，边正则化也会带来精度和稳定性的增益。同时，边正则化带来的额外运算消耗可以几乎忽略不计。4. 实验结果4.1 网络搜索与测试我们在 CIFAR10 和 ImageNet 上做了网络结构搜索，并将搜索到的网络结构在 ImageNet 数据集的移动设定下进行了验证，实验结果如表 1（CIFAR10）和表 2（ImageNet）所示。搜索出的结构如图 2 所示。PC-DARTS 在 CIFAR10 上仅仅利用 0.1GPU 天就搜索到 2.57% 测试错误率的结构，在搜索速度和准确率上都远超 DARTS。据我们所知，这是目前错误率低于 3% 的最快搜索算法。P-DARTS[2] 通过更深的结构去搜索达到比我们方法更好的结构，我们的方法也可以与 P-DARTS 进行结合达到更好的性能。
表 1：CIFAR10 数据集上的结果对比。
表 2：ImageNet 数据集上的结果对比。如表 2 所示，我们将 PC-DARTS 在 CIFAR10 上和 ImageNet 上搜索到的结构在 ImageNet 上进行了验证。在 CIFAR10 上搜索出的结构的 top-1/top-5 错误率为 25.1%/7.8%，显著地低于 DARTS 的 26.7%/8.7%。考虑到搜索时间只有 0.1GPU 天，该性能已经非常可观。另外，在 ImageNet 直接搜索出的结构的 top-1/top-5 错误率降低至 24.2%/7.3%，超过了 P-DARTS[2]，也超过了另一个直接在 ImageNet 上直接搜索的方法，ProxylessNAS[3]。
图 2：在 CIFAR10（左）和 ImageNet（右）上搜索到的网络结构（以 normal cell 和 reduction cell 的形式分开展示）。网络中的所有同类型 cell 共享一个结构。4.2 消融实验
图 3/表 3：消融实验结果示意。左图为不同采样比例 K 对搜索结果的影响，右表为 PC 和 EN 对于原始算法分别产生的有益效果。首先我们研究了通道采样比例 K 对搜索性能以及速度的影响。这个实验是在 CIFAR10 上进行的。可以看到当综合考虑搜索的时间和性能时，K=4 为最佳。K=8 时，虽然搜索时间更低，但是由于采样的通道数太少，超网络的性能有了显著下降。这个实验不仅展示了 PC-DARTS 允许在搜索时间和精度之间进行权衡，同时也反映了 NAS 中超网络优化具有一定的冗余性。更重要的是，它清晰地展示了 DARTS 算法下，搜索和验证之间的差异：一个优化得更好的超网络不一定会产生最终性能更好的子网络。基于超网络训练的 NAS 方法很容易产生过拟合现象——从这个角度讲，通道采样起了正则化的作用，缩小了搜索与验证之间的差异性。另一种减少差异性的方法，见 [2]。此外，为了显示部分通道连接与边正则化的有效性，我们进行了消融实验。可以看到，虽然部分通道连接使得搜索速度更快、性能也有所提升，然而边正则化的加入使得整个搜索算法的稳定性更强。同时注意到，即使直接在 DARTS 上加入边正则化，对于其搜索的精度和稳定性也有显著的提升。因此我们判断，边正则化方法能够扩展到更一般的基于超网络优化的搜索算法。4.3 迁移到目标检测为了进一步验证搜索出结构的性能，我们将网络迁移到目标检测任务中进行比较。我们选择 SSD[4] 作为基础框架，并将在 ImageNet 上搜索和预训练的网络结构好作为后端网络。我们在 MS-COCO 数据集下测试了一系列模型的性能。在更低的 FLOPs 下，PC-DARTS 比 SSD300 在 AP 指标上高出 5.7%。在类似的 FLOPs 下，PC-DARTS 相较于 MobileNet 系列的性能优势也十分明显。实验证实，PC-DARTS 在图像分类任务上搜索出的结构，能够很好地迁移到更具挑战性的目标检测任务中。这也在一定程度上得益于 PC-DARTS 减轻了超网络的过拟合，从而提升了迁移性能。
表 5：将搜索到的网络结构迁移到 MS-COCO 检测任务上的对比结果。5. 总结本文提出部分通道连接的可微分网络结构搜索方法 PC-DARTS，使得可微分搜索更快、更稳定，也在多个数据集上取得了更好的性能。其中的边正则化方法也能够用于其他超网络搜索算法，增加训练的稳定性。经过细致的优化，PC-DARTS 将网络结构搜索的时间开销降低到小时级，特别便于资源受限的研究工作者使用。然而我们也注意到，可微分网络结构搜索已然存在一些未解难题，如超网络到子网络的近似所带来的巨大量化误差。在今后的研究工作中，我们会在这些方面进行持续探索，进一步提升可微分框架的竞争力。参考文献[1] Hanxiao Liu, Karen Simonyan, and Yiming Yang. DARTS: Differentiable architecture search. In ICLR, 2019.[2] Xin Chen, Lingxi Xie, Jun Wu, and Qi Tian. Progressive differentiable architecture search: Bridging the depth gap between search and evaluation. In ICCV, 2019.[3] Han Cai, Ligeng Zhu, and Song Han. ProxylessNAS: Direct neural architecture search on target task and hardware. In ICLR, 2019.[4] Weiwei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott E. Reed, Cheng-Yang Fu, and Alexander C. Berg. Ssd: Single shot multibox detector. In ECCV, 2016.