首页 > 编程知识 正文

知识推理的基本原理,唤醒理论的基本观点

时间:2023-05-05 05:48:40 阅读:23903 作者:2821

原创:段楠纯真万宝路时尚牛排

编者按:自然语言处理的发展演化带来了新的热潮和研究问题,研究者们在许多不同的任务中推动了机器推理(Machine Reasoning )能力的提高。 在一系列先进科研成果的基础上,微软亚洲研究院自然语言计算组相继发表一系列文章,介绍机器推理在常识问答、事实检测、自然语言推理、视觉常识推理、视觉问答、文档级问答、多种语义分析和问答等任务中的最新方法和进展。

从规则方法、统计方法到当前的深度学习方法,自然语言处理(NLP )研究处于不断发展和演化的状态,在过去五年取得了令人瞩目的成果。 现有的深度学习方法能够针对具有足够标记数据的NLP任务(例如机器翻译和自动答疑),成功地建模输入与输出之间的关系,并在分布相同或类似的测试数据方面获得令人满意的效果。 但是,如果与测试数据相关的知识和领域不在训练数据的范围内,很多模型的效果就会一落千丈。 这种现象其实很容易理解,在人类从小到大的成长过程中,已经通过各种学习过程掌握了很多共同知识(例如数学知识、物理知识、世界知识、常识知识等)。 这些知识有助于人类在学习新技能或遇到新问题时推理,举一反三。 但是,大多数NLP模型都没有这种知识模型,因此不能很好地理解和解决新问题。

大规模知识地图(如Satori和WikiData )的出现使构建基于知识的NLP模型成为可能,而语义分析(Semantic Parsing )和知识地图问答(Knowledge-based QA )研究也是最受欢迎的两个NLP课题和研究但是,现有的知识图谱对人类知识的覆盖度仍然非常有限,因此基于知识图谱的NLP模型只能准确理解和处理小部分自然语言问题和任务,对其馀部分无能为力。

近两年,GPT、BERT、XLNet等预训练模式的出现,几乎大大提高了所有自然语言处理任务的最佳水平。 通过大量文本进行基于语言模型的预训练,在下游任务中对模型参数进行微调,预训练模型可以很好地将从训练数据中学到的“通用知识”转移到下游任务中。 对于这种“通用领域的事前训练特定任务的微调”的新范式,整个NLP社区也展开了活跃的讨论。 事前训练模式真的学到了“知识”吗? 能否取代现有的符号化知识地图? 有推理能力吗?

怀着对这几个问题的好奇心,微软亚洲研究院自然语言计算组的研究人员开展了一系列关于机器推理的研究。 作为引言,本文介绍了什么是机器推理,并简要说明了现有的NLP方法与机器推理的关系。 接下来,我们将陆续发表一系列文章,介绍机器推理常识问答、事实检测、自然语言推理、视觉常识推理、视觉问答、文档级问答、多次语义分析和问答等任务中的最新方法和进展。

机器推理(Machine Reasoning )是基于现有知识理解、推断未发现的问题,并给出问题的答案的过程(1)。 根据该定义,机器推理涉及四个主要问题: (1)如何理解和显示输入。 )2)如何定义知识? )3)如何提取和显示输入相关知识? )4)基于对输入及其相关知识的理解,如何估计与输入相对应的输出? 下图显示了机器推理的总体框架。

图1 :机器推理的总体框架

对于输入的理解和表达,NLP领域已经积累了大量的研究,如单词袋模型、语法分析、单词嵌入(Word Embedding )、句子开放/特定领域的知识地图和常识地图不仅属于“知识”范畴,目前广泛研究和使用的预训练模式也同样可以视为知识。 这是因为,事前训练模型的本质是将各单词庞大的文本中的上下文存储在模型中。 脸书的工作[2]也通过实验证明,现有的预训练模式涵盖了知识地图和常识知识。 对于知识提取和显示,基于知识图的模型通常基于实体链接的结果从知识图中找到输入知识,并通过知识嵌入方法对其进行编码和建模。 相比之下,基于预训练模型的知识提取对应于利用预训练模型对输入文本进行编码的过程。 根据输入及其相关知识进行估计,每个任务往往采用不同的估计算法。 例如,在语义分析任务中,估计过程对应于生成语义表示的算法。 在基于预训练模型的精细调整方法中,估计过程对应于现有预训练模型之上的任务相关层。

上述说明只是对机器推理的粗浅解释。 下一系列文章分别介绍了上述机器推理框架在几个最新推理任务中的具体实现方法和实验效果,包括:

机器推理系列之一:基于推理的常识问答

图2 :我们提出的推理方法(XLNet Graph Reasoning )在以色列特拉维夫大学的常识问答任务CommonsenseQA中得到了当前状态[3]。

(htt

ps://www.tau-nlp.org/csqa-leaderboard)

 

机器推理系列之二:基于推理的事实检测

图3:我们提出的推理方法(DREAM)在 Amazon 剑桥研究院事实检测任务FEVER上取得了目前 state-of-the-art 的结果[4]。

(https://competitions.codalab.org/competitions/18814#results)

 

机器推理系列之三:基于推理的跨语言自然语言推理

 

图4:我们提出的跨语言预训练模型(Unicoder)在纽约大学跨语言自然语言推理任务XNLI上取得了目前 state-of-the-art 的结果[5]。

(https://arxiv.org/pdf/1909.00964.pdf)

 

机器推理系列之四:基于推理的视觉常识推理

 

图5:我们提出的跨模态预训练模型(Unicoder-VL)在华盛顿大学视觉常识推理任务 VCR 上取得了目前 state-of-the-art 的结果[6]。

(https://visualcommonsense.com/leaderboard/)

 

机器推理系列之五:基于推理的视觉问答

 

图6:我们提出的推理方法(DREAM+Unicoder-VL)在斯坦福大学视觉推理和问答任务 GQA 上取得了目前 state-of-the-art 的结果[7]。

(https://evalai.cloudcv.org/web/challenges/challenge-page/225/leaderboard/733)

 

机器推理系列之六:基于推理的文档级问答

 

图7:我们提出的基于BERT的文档建模方法(BERT-DM)在谷歌文档级问答任务 NQ 上取得了目前 state-of-the-art 的结果[8]。

(https://ai.google.com/research/NaturalQuestions)

机器推理系列之七:基于推理的多轮语义分析和问答。

图8:我们提出的多轮语义分析和问答方法(Seq2Action)在IBM研究院多轮复杂问答任务 CSQA 上取得了目前 state-of-the-art 的结果[9][10]。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。