单击上面的“AI遇见机器学习”，然后选择“星形符号”的公众号
重磅晾衣架，第一时间送到
大数据文摘授权转载自 《AI科技评论》
作者 |合适的小虾米
上个月27日，ACM通信发生了论文作者与审稿人串通欺骗盲审的学术诈骗案，在计算机科学研究领域掀起了一场讨论风暴。 人们对此发表了不同的看法和评论。 其中，来自加拿大Mila研究所的AI博士Jacob Buckman发表博客文章，指控更“看起来合理”的学术欺诈行为。
Buckman本科毕业于卡内基梅隆大学计算机科学专业，研究生毕业于卡内基梅隆大学语言技术研究所，2018年开始在麦吉尔大学攻读博士课程，在Yoshua Bengio (深度学习巨头之一)于1993年成立的Mila研究所进行研究
这篇文章上传到Reddit，收到了150多条评论和帖子：
Reddit讨论：
3359 www.Reddit.com/r/machine learning/comments/noo IHA/d _ please _ commit _ more _ blatant _ academic _ fr ee
对于人工智能领域所谓的“看起来很合理”的学术诈骗论文，Buckman举了很多常见的例子。 例如：
用几十个种子试验新算法，只通报性能最好的几种情况；
以建议的方式运行大规模超参数扫描，但使用基线默认值；
选择几种模型在其中运行良好的场景，或者在此基础上进行测试，选择模型优势得到证明的数据集
捏造新的问题设置、新的数据集、新的目标，以在空旷的体育场获胜；
论文介绍声称某项工作是“有前途的第一步”，即使没有人完全意识到要在这项工作的基础上继续发展
之所以把论文发表在会议上，是因为论文有可能被接受，即使意识到论文的核心思想是错误的，也不想浪费在这篇论文上的时间
……
与同行串通、欺骗审查相比，Buckman认为，这种学术欺诈行为更难被“定罪”，对计算机科学研究领域的危害更大。
他呼吁：“让暴风雨更猛烈吧。” 在学术欺诈行为泛滥成灾之前，不能推倒重来，重建更美好的明天！
Buckman认为，与有明显证据的盲审诈骗相比，这种“低调”的学术诈骗问题在于其阴险和微妙。 在很多情况下，我们很难区分欺诈行为和简单的错误。 对于这种行为，相关研究者可以提出合理的否认，例如“啊，我只是忘记了含有什么物种”。 “没有足够的计算机来处理这些消融。 “没有找到这个错误。 ……
在这种情况下，可能有合理理由的简单错误很难惩治善良的研究生，所以只能“手下留情”，一次又一次地让这些事件发生，直到这些行为“正常化”。 论文发表的标准降低了，以高标准要求自己对谁都没有好处。 领域的新入门者将看到、学习和模仿这些现象。
Buckman指出，模仿“欺诈”的年轻研究者通常受到领导人的“鼓励”。 每个教授都希望实验室的研究生每年能发表尽可能多的论文。 如果各实验室承认某些行为，这些行为将成为该领域研究标准的一部分。
但最糟糕的是，谁都是这种“微妙骗局”的共犯，所以谁也不想承认它的存在。 针对这一现实，同一领域的研究者形成了群体盲点。 即使是在高层会议上发表的中等水平的论文，也不包含真意。 任何突显或纠正这种状况的尝试都会遭到既得利益者的强烈抵制。
如果现在所有公开的学术造假都混在一起，研究人员可以让人工智能领域承认这个盲点的存在。 在阅读会议论文时，研究者可以提出这样的疑问：这份工作真的值得我关注吗？ 那个发表不仅仅是学术上的“欺诈”行为吗？
其实，我们很难区分“欺诈”发表论文和“合法”发表论文。 (这其实已经诠释了AI领域的发展现状。 ) )
但Buckman认为，假设所有论文都带有“欺诈行为”，他可以用怀疑的眼光阅读所有已经发表的工作。 读者不得不像审阅者一样阅读，审查论文可能存在“欺诈”。 长期以来，同一领域的研究者对这种“欺诈”变得敏感，反过来会给作者施加压力，让其创作经得起考验的作品，创造出真正有科学价值的出版物。
Buckman还说，大多数研究者都像“职场研究者”，他们的动力不是追求科学真理，而是支持学术界有威望的人。 不仅是初级研究员，高级研究员也是如此。 但是，如果“科学是人情”的观念在人工智能领域扎根，原来的受益者真的能继续受益吗？
布朗大学教授dzdjm L. Littman认为，论文作者和审稿人“狼狈强奸”的现象威胁着整个计算机科学研究领域的诚信。 Buckman赞同这一观点，并希望有一天，这种行为最终会破坏计算机科学研究的整体可信度，最终迫使这个领域的所有人重新参与学术规范的建设，改变研究方式
，提高人类知识成长的整体能力。在文末，Buckman呼吁：请进行更多的学术欺诈行为……
在Reddit上，网友就Buckman的文章发表了自己的观点/大胆地爆料。
有人分享了自己身边的故事（不确定是否“无中生友”），提到有位机器学习领域的博士生发现导师的一个论文观点完全是凭空捏造的，而实验室里其他研究生的工作又是基于这位教授的工作所完成的。这位博士生因此失去了对学术的信仰…
研究3D点云配准的网友表示，这类学术欺诈行为不仅发生在人工智能领域：
但是，也有人对Buckman定义日常学术欺诈的例子进行了反驳。比如，Buckman认为，“捏造新的问题设置、新的数据集与新的目标，以便在空旷的赛场上取得胜利”也是一种学术欺诈，而网友则指出：定义新的问题设置、新的数据集与新的目标，是研究者能对领域付出的最大贡献！
这个观点使部分研究者感到了冒犯：
有网友搬出从容的火车的观点：研究新的数据集/目标/问题设置，比调整模型架构、以在同一个数据集上实现比SOTA高0.1%的工作更有意义。
这是该帖所含超链接中从容的火车的观点：
还有网友指出，Buckman的文章观点很好，但过于理想主义化。比如说，Buckman提到种子与不恰当的测试。但现实是，很多实验室的设备完全比不了MIT、斯坦福或Facebook等顶级高校、大厂。
此外，关于“科学是人情世故”的问题，该网友认为这是一个特征，而不是一个bug。学者想要庆祝个人的成就，随之获得声望，是一个自然而然的过程。这个体系已经运行许多年。
大家怎么看？
参考链接：
https://jacobbuckman.com/2021-05-29-please-commit-more-blatant-academic-fraud/
https://www.reddit.com/r/MachineLearning/comments/nooiha/d_please_commit_more_blatant_academic_fraud_blog/
https://cacm.acm.org/magazines/2021/6/252840-collusion-rings-threaten-the-integrity-of-computer-science-research/fulltext#FNA
欢迎关注我们，看通俗干货！