第一部分：Michael Klachko 实现中的不一致
优化方法不同：MK 用的是 SGD，我们的实现用的是 Adam。加性噪声（additive noise）的级别不同：MK 用的是 0.5，我们用的是 0.1。学习率不同：MK 用的是 1e-3，我们用的是 1e-4。学习率调度不同。Conv-BN-ReLU 模块顺序不同。使用的 dropout 不同，MK 用的是 0.5，我们没有使用。基于有限次数的尝试，我们发现前两个不一致（优化方法和噪声级别）对 PNN 性能的负面影响最大。优化方法的选择确实非常重要，在小规模实验中，每种优化方法（SGD、Adam、RMSProp 等）会导致差异巨大的优化路径。加性噪声级别的选择也非常重要，我们将在第三部分进行讨论。
让我们来看一下设置了正确的超参数之后 PNN 表现如何。保持噪声掩码不变（--nfilters 128），我们可以得到 90.35% 的准确率，而不是 MK 得到的~85-86% 的准确率。
第二部分：关于 CVPR 论文的结果
截至目前，对这篇 CPVR 论文《Perturbative Neural Networks》实验的重新评估大多已完成。有少数实验受到光滑函数中错误默认配置的影响。这些受影响的实验性能都略有下降，不过可以通过增加网络参数（如噪声掩码的数量）来弥补。我们将更新 arXiv 版本中的结果。
第三部分：在所有层中应用均匀加性噪声
接下来要讨论的内容没有涵盖在原始 CVPR 论文中，将在 PNN 后续研究中进一步探讨。其中一个主题是在所有层应用扰动噪声，包括第一层。
在 CVPR 版的 PNN 论文中，第一层使用了 3x3 或 7x7 的空间卷积作为特征提取，所有后续层使用扰动噪声模块，这一点也可以从原始 PNN GitHub repo 中看到。由于 MK 尝试并实现的是在 PNN 的所有层应用扰动噪声，因此提供我们的见解可能会有帮助。
根据 MK 的测试（截图如下所示），在所有层（包括第一层）应用均匀噪声的 PNN 在 CIFAR-10 上达到了 72.6% 的准确率。在此我们提供了一个简单的解决方案（没有对 MK 的实现做很大的改动），使准确率达到约 85-86%。我们想说明的一点是，这仍然是关于 PNN 的很多正在进行的研究主题之一，我们将在后续工作中报告研究结果。
Reference:
https://zhuanlan.zhihu.com/p/50858421[CVPR论文复现争议后续：华人一作苦战两月给出有态度的分析结果]