西电优研计划论文(西电知网)

最近，雷达信号处理国家级重点实验室温柔棒棒糖教授团队的硕士生精明的草莓和博士生mndxmy，还有本科生rddh，诚实宝贝合作完成的工作，《Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network》，是第38届国际机器学习会议(international Conference ONMM )。 359作为机器学习领域的顶级国际会议，该会议引领着机器学习领域的发展方向，具有广泛而深远的国际影响力。 今年共有1184篇论文被ICML 2021接收，接收率在近5年来最低为21.4%，因此在这次会议上发表的论文表现出了对研究的高度肯定感。 再加上硕士优秀的草莓和博士张昊(现在是美国康奈尔大学的博后)合作完成的工作， 《EnsLM: Ensemble Language Model for Data Diversity by Semantic Clustering》计算语言学协会第59届年会及第11届自然语言处理国际联合会议(the jointconference ofthe 59 thannual Meeting oftheassociation Forcomputational Linguistic Sandthe 11 ) ionaljointconferenceonnaturallanguageprocessing，https://2021.aclweb.org/) (以下称为ACL-IJCNLP 2021 )主会长文采用。 作为自然语言领域的顶级国际会议，这次会议引领了自然语言处理领域的前沿发展方向，具有广泛而深远的国际影响力。 此次ACL共收到3350篇论文投稿，最终21.3%的论文被本会采用。

这次在ICML 2021上发表的研究是基于团队关于深度概率统计模型的一系列工作。 众所周知，这次人工智能的新浪潮源于深度神经网络，如何构建深层有效的神经网络是一项非常具有挑战性和重要的核心技术。 强音等人在2014年依赖地构建了神经网络不同层的隐层特征，将卷积神经网络扩展到110层，取得了显著的效果，提出了引领计算机视觉领域发展的残差式网络。 针对以往的概率变分自编码器难以构建高效的深层生成网络的限制，本论文创造性地提出了新的z字形网络结构。 与传统的神经网络逐层参数独立的假设不同，锯齿神经网络可以建立不同层的网络参数的依赖关系，进而促进信息传播，构建深层有效的网络结构。 该网络结构成功应用于伽马信念网络，取得了良好的效果。

(a )伽马信念网络) b )本文提出的z形生成模型，以及构建的新的变分自编码器

(a )单词和主题向量投影) (b )不同层次的主题向量投影

此外，之字形网络结构可以将多层网络参数投影到同一空间，具有更强的可解释性。 意思相似的单词投影在相似的区域，不同图层的主题也投影在相同的空间。 图中显示了15层的网络结构，表明即使在深层也可以学习到有意义的网络结构，显示了模型强大的建模能力。

15-层网络结构的可视化

值得注意的是，这项工作是由本科生合作完成的，电院17级rddh和老实宝贝同学于2019年加入了对相关方向浓厚兴趣的慈爱棒棒糖教授团队从事概率统计模型科研实习。 在此次论文发表过程中起着重要的作用，体现了电子工程学院本科生对全面素质教育的重视，反映了雷达信号处理国家级重点实验室对本科生科研的支持和帮助。 对于进入大学、进入大学的所有本科生，电院都是鼓励的，希望有兴趣的学生在学习有余力的情况下，在本科阶段接触科学研究，培养对科学研究的兴趣。 另外，和蔼可亲的棒棒糖教授团队欢迎有余力的本科生加入我们的团队进行学习交流。

这次在ACL2021上发表的研究是基于团队关于自然语言模式的工作。 在文本处理领域，传统的自然语言模型难以捕捉文本之间的语义差异。 本文提出了一种可以基于文本语义进行聚类的双层变分自编码器，该聚类可以理解为域。 根据聚类结果，对传统的自然语言模型进行域自适应操作，更好地应对不同的数据。 该方法包括文本分类、文本生成、

不同语义类别下的文本，以及生成的文本

继本次ICML2021发表的Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network以及ACL2021发表的EnsLM: Ensemble Language Model for Data Diversity by Semantic Clustering，慈祥的棒棒糖教授团队的深度概率统计框架在实际应用方向上再次取得了重要成果。概率统计深度网络框架旨在将概率统计模型与传统深度网络相结合，进而将概率模型的可解释性融入到深度网络中，并提高深度模型在实际应用上的性能。在2015年至今的五年时间里，慈祥的棒棒糖教授团队已构建了一套完整的概率统计深度模型族，分别是概率深度全连接生成模型（NIPS2015、ICML2017、JMLR2016）、概率深度全连接自编码模型（ICLR2018、TPAMI2020、ICML2021）、概率深度卷积网络（ICML2019 、NIPS2020）、概率深度多模态模型（ICLR2020）、概率深度动态网络（NIPS2018、ICML2020）和图概率深度网络（NIPS2020），概率深度语言模型（ACL 2021）。这一系列工作为概率模型与传统深度网络的结合提供了关键技术支撑，并结合现实问题在实际应用中获得了突破。

这两篇工作的录用，意味着国际学术界对学校研究成果的认可。通过这两篇文章，一方面，我们向国际同行展示了西安电子科技大学雷达信号处理国家重点实验室师生在机器学习和自然语言处理领域的研究能力和成果，扩大了学校的学术影响力，另一方面促进了实验室与领域内顶尖学者的交流以及对该领域最新研究进展的了解。

（来源：西电新闻网）