EMNLP是自然语言处理领域的顶级会议，其全名是Conference ONEM Pirical Method Sinnatural Language Processing (自然语言处理经验方法会议)，是国际语言学会(ACL )的SIG Dage Dag
今年是腾讯AI Lab第二次参加EMNLP，共有16篇文章入选，涵盖语言理解、语言生成、机器翻译等多个研究主题。 以下是摘要的解读。
此外，在今年的许多顶级学术会议上，腾讯AI Lab也被多篇论文选中，位居国内企业之首。 包括机器学习领域顶级会议nips(20篇)和icml ) 16篇，计算机视觉领域顶级会议cvpr ) 21篇)和eccv ) 19篇，语音领域顶级会议interspech ) 8篇
1. QuaSE:量化指导下的序列编辑
quase :序列编辑货币基数
论文地址： https://arxiv.org/abs/1804.07007
本文由腾讯AI Lab主导，与香港中文大学合作完成。 本文提出了量化指导下的序列编辑(QuaSE )任务。 编辑输入序列，以生成满足用于量化序列的特定属性的数字输出序列，同时保持输入序列的主要内容。 例如，也可以是评论文或广告文本等单词的排列。 注释语句时，数值可以评分； 广告的情况下，数值也可以是点击率。 QuaSE的主要课题之一是如何感知与数值相关的词语，以及如何只编辑它们来改变结果。 本文提出的框架中包含结果因子和内容因子这两个潜在因子，为输入句提供了方便的编辑以改变数值结果并保留内容。 本论文的框架通过对其内容的相似性和结果的差异进行建模，可以探索伪并行文对的利用，更好地解耦潜在因子，生成更好地满足期望值的结果，维持内容的输出。 对偶重构结构通过利用伪平行句对潜在因子的耦合关系，进一步加强了生成满足期望的输出的能力。 为了评价，研究者准备了Yelp评论文的数据集，作为数值结果使用了评分。 本文报告了实验结果，进行了深入的讨论，阐述了框架的特点。
2 .基于深层表示的神经机器翻译
exploitingdeeprepresentationsforneuralmachinetranslation
本文由腾讯AI Lab主导，与南京大学合作完成。 神经机器翻译系统通常由多层编码器和解码器组成，可以对复杂的函数进行建模和捕获复杂的语言结构。 但是，翻译过程通常只利用编码器和解码器的顶级，而错过了利用其他级别有用信息的机会。 在这项工作中，提出了用层聚合和多层注意机制的方法同时暴露和传输所有这些信号。 另外，本论文为了鼓励不同层捕捉不同的信息，将引入辅助正则化。 研究人员用广泛使用的WMT14英语到德语和WMT17中文到英语的翻译数据进行了实验，实验结果证明了方法的有效性和普遍性。
3 .自我注意神经网络模型的局部建模
modelinglocalnessforself -注意网络
本文由腾讯AI Lab主导，与澳门大学合作完成。 注意力模型已被证明能够直接注意所有输入要素，在许多任务中捕获全局依赖关系。 但是，这种依赖信息的捕获通过加权相加操作进行，有可能忽视相邻要素之间的关系。 本论文为自我注意网络建立局部模型，提高学习局部上下文的能力。 具体地说，将局部模型设计为可学习的高斯偏置。 这个高斯偏差表示强化的局部范围。 之后，得到的高斯偏差用于修正原有的注意力分布，以得到局部强化的权重分布。 另外，研究还发现，在多层自我提醒网络中，下层倾向于关注尺寸小的局部范围，上层倾向于关注全局信息的捕获。 因此，本论文只将局部建模应用于低层自我注意网络，以在原始模型获得长距离依赖能力的同时加强局部信息的建模。 汉英和英德翻译任务的定量和定性分析证明了所提方法的有效性和适用性。
4 .短文本分类用的主题记忆网络
topicmemorynetworksforshorttextclassification
本文由腾讯AI Lab主导，与香港中文大学合作完成。 虽然很多分类模型在短文本的分类中性能不好，但其主要原因是短文本的数据稀疏性问题。 为了解决这个问题，本文提出了一种新的主题记忆机制，用于编码对分类有用的主题表示，以提高短文本分类的性能。 前人的工作主要侧重于用额外的知识扩展文本特征或利用已经训练好的主题模型，与过去的工作不同，本文的模型可以在记忆网络的框架下用端到端的方法同时学习主题表示和文本分类在4个基准数据集上的实验结果表明，本文的模型在短文本分类中的性能不仅超过了以往最先进的模型，还能产生有意义的主题。
5 .自动构建中文错别字检测资料的混合方法
ahybridapproachtoautomaticcorpusgenerationforchinesespelling
Check本文由腾讯 AI Lab 主导，与清华大学和腾讯 SNG 合作完成。中文错字的自动检查是一个富有挑战又十分有意义的任务，该任务不仅用于许多自然语言处理应用的预处理阶段，而且可以极大促进人们的日常读写。数据驱动的方法在中文错字检查十分有效，然而却面临着标注数据缺乏的挑战。这个工作提出了一种自动构造用于拼写检查数据集的方法，分别通过基于 OCR 和 SR 的方法构造视觉上和听觉上相似的字来模拟错字。利用本文提出的方法，研究人员构造了一个大规模的数据集用于训练不同的错字自动检查模型，在三个标准的测试集上的实验结果证明了本文自动构造数据集方法的合理性和有效性。
6. 基于对抗条件变分自编码器的中文诗歌生成
Generating Classical Chinese Poems via Conditional Variational Autoencoder and Adversarial Training
本文为腾讯犀牛鸟合作项目，与北京大学合作完成。计算机自动创作表达流畅、文字优美的诗歌是一个难题。虽然之前的相关研究已经取得了引人注目的成果，自动生成的诗歌依然和诗人创作的有很大差距，尤其是主旨一致性和用词的新颖性。在本文中，研究人员提出结合条件变分自编码器和对抗训练的策略来生成诗歌。实验结果表明，不管是自动指标还是人工测评，本文的模型都有显著的提高。
7. 面向摘要生成的交互文档表表征学习及润色
Iterative Document Representation Learning Towards Summarization with Polishing
本文为腾讯犀牛鸟合作项目，与北京大学合作完成。通过观察人类生成摘要时对文档阅读及理解多遍的事实，文本提出了基于交互式文本摘要技术的抽取式摘要生成模型。考虑到当前摘要生成技术局限于对待生成摘要文本只处理一遍，多数文本表达无法得到全局最优的结果。针对这种情况，本文提出的方法能够持续选择，更新相应文本及优化相应的文本表征。在 CNN/DailyMail 和 DUC2002 数据及上的实验结果证明，本文提出的方法在自动及人工评测方面均超越了以往最好的模型。
8. 面向回复生成的变分自回归解码器
Variational Autoregressive Decoder for Neural Response Generation
本文由腾讯 AI Lab 参与，与哈尔滨工业大学合作完成。由于结合了概率图模型与神经网络的优点，条件变分自编码机（Conditional Variational Auto-encoder (CVAE)）在诸多自然语言处理应用例如开放域对话回复上，表现出了优秀的性能。然而，传统 CVAE 模型通常从单一的潜在变量中生成对话回复，这一模型很难对回复中的多样性进行准确建模。为了解决这一问题，本文提出了一种将序列化的潜在变量引入对话生成过程中的模型。在此模型中，研究人员使用一个后向循环神经网络（Recurrent Neural Network，RNN）扩展近似后验概率分布，其中后向循环神经网络使得本文的模型能更好捕捉文本生成过程中的长距离依赖问题。为了更好训练本文提出模型，研究人员在训练过程中加入了预测后续文本词袋（bag-of-words）的辅助目标。在 OpenSubtitle 和 Reddit 对话生成数据集的实验上表明本文提出的模型可以显著提升生成回复的相关性与多样性。
9. 具有差异性约束的多头注意力机制
Multi-Head Attention with Disagreement Regularization
本文由腾讯 AI Lab 主导，与香港中文大学和澳门大学合作完成。多头注意力机制因其能在不同子空间学习不同表征的能力受到研究者欢迎。在这个工作中，本文引入一种差异性约束来显式地鼓励多个注意力头的多样性。具体地，本文提出了 3 种差异性约束，分别鼓励每个注意力头在输入子空间、注意力对齐矩阵、输出表示上跟其他的注意力头不一样。研究人员在广泛使用的 WMT14 英语到德语和 WMT17 中文到英语翻译数据进行实验，实验结果证明了方法的有效性和普遍性。
10. 一种基于共享重构机制的缺略代词还原与神经网络机器翻译联合学习方法
Learning to Jointly Translate and Predict Dropped Pronouns with a Shared Reconstruction Mechanism
论文地址: https://arxiv.org/abs/1810.06195
本文由腾讯 AI Lab 主导，与都柏林城市大学合作完成。在代词缺略语言（如，汉语）中，代词常常会被省略，但是这给机器翻译结果的完整性带来了极大挑战。最近 Wang et al. (2018) (Translating Pro-Drop Languages with Reconstruction Models) 的工作提出了利用重构机制来缓解神经网络机器翻译中的缺略代词问题。本文从两个方面进一步加强了原有的重构模型。首先，本文提出了共享式重构器来充分利用编码器和解码器端的表示。第二，为了避免额外的缺略代词标注系统的错误传递，本文利用联合学习方法提出了缺略代词预测和翻译的端到端模型。
11. 一种减少神经网络对话模型生成通用回复的统计重加权方法
Towards Less Generic Responses in Neural Conversation Models: A Statistical Re-weighting Method
本文由腾讯 AI Lab 主导，与苏州大学和武汉大学合作完成。序列到序列（Seq2Seq）的神经网络生成模型已经在短文的对话生成任务中取得了不错表现。但是，这些生成模型往往容易生成通用、乏味的回复，非常影响对话的体验。研究人员观察到在对话任务中，每个输入语句都有可能对应着多个合理回复，即表现为 1 对 n（或者以整个语料集的角度看是 m 对 n）的形式。这种情形下，使用标准的 Seq2Seq 的目标函数，模型参数容易通过损失代价被通用（高频）的句子样式主导。受此启发，本文提出一种基于统计重加权的方法赋予输入语句对应的多个可接受回复不同的权值，并使用经典的神经网络生成模型进行训练。在一份大型的中文对话语料集上的实验结果表明，本文提出的方法在提高模型生成回复的接受率的同时，明显地减少了通用回复的数量。
12. 将数学问题翻译为表达式树
Translating a MathWord Problem to a Expression Tree
本文由腾讯 AI Lab 主导，与电子科技大学和香港中文大学合作完成。序列到序列模型已经成功的在自动解数学题方向取得了较大成功。然而，这种方法虽然十分的简单有效，却仍然存在一个缺点： 一个数学问题可以被多个方程正确的解出。这种非确定性的映射关系损害了最大似然估计的性能。本文利用表达式树的唯一性提出了一种公式归一化的方法。此外，本文还分析了三种目前最流行的序列到序列模型在自动解数学题任务上的性能。研究人员发现每个模型都有自己的优点和缺点，因此本文进一步提出了一个集成模型来结合他们的优点。在数据集 Math23K 上的实表明使用公式归一化的的集成模型明显优于以往最先进的方法。
13. 循环神经网络语言模型下 n-gram 的边际概率估计
Estimating Marginal Probabilities of n-grams for Recurrent Neural Language Models
本文为腾讯 AI Lab 犀牛鸟 Gift Fund 项目，与美国西北大学合作完成。循环神经网络语言模型（RNNLMs）是当前统计语言建模的主流方法。然而，RNNLMs 只能对完整的文本序列进行概率计算。在一些实际应用当中，往往需要计算上下文无关的（context-independent）短语的概率。本文中，研究人员探索了如何计算 RNNLMs 的边际概率：在前文（preceding context）缺失的情况下，模型如何计算一个短文本的概率。本文提出了一种改变 RNNLM 训练的方法，使得模型能够更加精确地计算边际概率。实验结果表明，本文的技术优于基线系统，如传统的 RNNLM 以及重要度采样法。本文还给出了如何利用边际概率改善 RNNLM 的方法，即在训练中使边际概率接近于一个大数据集中 n-gram 的概率。
14. 基于混合注意力机制的在线论辩赞成/反对关系识别
Hybrid Neural Attention for Agreement/Disagreement Inference in Online Debates
本文由腾讯 AI Lab 参与，与哈尔滨工业大学合作完成。推断辩论尤其是在线辩论文本间的赞成/反对关系是论辩挖掘的基本任务之一。赞成/反对的表达通常依赖于文本中的议论性表达以及辩论参与者之间的互动，而以往的工作通常缺乏联合建模这两个因素的能力。为了解决这一问题，本文提出了一种基于神经网络的混合注意力机制，其结合了自我注意力机制以及交叉注意力机制，分别通过上下文语境和用户间的交互信息来定位文本中的重要部分。在三个在线辩论数据集上的实验结果表明，本文提出的模型优于现有的最优模型。
15. XL-NBT: 一种跨语言神经网络置信跟踪框架
XL-NBT: A Cross-Lingual Neural Belief Tracking Framework
论文地址：https://arxiv.org/pdf/1808.06244.pdf
本文为腾讯 AI Lab 犀牛鸟 Gift Fund 项目，与美国俄亥俄州立大学和加州大学圣塔芭芭拉分校合作完成。实现跨语种对话系统在实际应用（如自动客服）中具有重要的实际意义。现有方法实现多语种支持通常需要对每一个语言单独标注。为了避免大量的标注成本，作为实现多语种通用对话系统这一终极目标的第一步，本文研究一个完全不需要新语种标注的跨语种的神经网络置信跟踪框架。具体来讲，本文假设源语言（例如英语）存在一个已经训练好的置信跟踪器，而目标语言（如德语或者意大利语）不存在相应的用于训练跟踪器的标注数据。本文采用源语言的跟踪器作为教师网络，而目标语言的跟踪器作为学生网络，同时对置信跟踪器进行结构解耦并借助外部的一些平行语料来帮助实现迁移学习。本文具体讨论了两种不同类型的平行语料，得到两种不同类型 的迁移学习策略。实验中研究人员用英语作为源语言，用德语和意大利语分别作为目标语言，实验结果验证了本文提出方法的有效性。
16. 自然语言视频时域定位
Temporally Grounding Natural Sentence in Video
本文由腾讯 AI Lab 主导，与新加坡国立大学合作完成。本文介绍一种有效且高效的方法，可以在长的未修剪的视频序列中定位自然语句表达的相应的视频内容。具体而言，本文提出了一种新颖的 Temporal GroundNet（TGN），用于捕获视频和句子之间不断演变的细粒度视频帧与单词之间的交互信息。TGN 基于所挖掘的视频帧与单词之间的交互信息地对每帧的一组候选者进行评分，并最终定位对应于该句子的视频片段。与以滑动窗口方式分别处理重叠段的传统方法不同，TGN 考虑了历史信息并在单次处理视频后生成最终的定位结果。研究人员在三个公共数据集上广泛评估本文提出的 TGN。实验证明 TGN 显著的提高了现有技术的性能。本文通过相应对比试验和速度测试进一步显示 TGN 的有效性和高效率。