什么是自然语言处理?
自然语言处理(NLP )是指机器理解和解释人类文章和说话方式的能力。
NLP的目标是让计算机/机器在理解语言方面像人一样智能。 最终目标是弥合人类交流(自然语言)和计算机理解(机器语言)之间的鸿沟。
自然语言处理
以下是三个不同层次的语言学分析。
句子法学:给定文本的哪个部分语法正确。
语义学:给定文本的含义是什么?
语用学:文本的目的是什么?
NLP处理语言的各个方面。 例如,以下内容:
音韵学:指语言中发音的系统化组织。
语态学:研究单词构成和相互关系。
如何用NLP理解语义分析:
分布式:利用机器学习和深度学习的大规模统计策略。
框架)句法不同,但意义相同的句子用数据结构(框架)编程化的情景来表示。
理论公式:该方法基于句子所指的真词可以结合句子的一部分内容来表达所有意思的想法。
交互式(学习) )它涉及一种语言的用法,用于在交互式学习环境中帮助用户一步一步地学习语言。
为什么需要NLP
有了NLP,就有可能完成自动语音、自动文本制作这样的任务。
由于存在大数据(文本),我们为什么不使用计算机能力,不知疲倦地运行算法来完成这样的任务,用不了多长时间。
这些任务包括NLP的其他APP应用程序,如自动摘要(生成给定文本的摘要)和机器翻译。
NLP进程
要通过语音生成文本,必须完成将文本转换为语音的任务
NLP机制包括以下两个过程:
自然语言理解
自然语言生成
自然语言理解(NLU ) )。
NLU是理解给定文本的含义。 你需要了解文本中每个单词的特性和结构。 在理解结构的基础上,NLU必须理解自然语言中的以下模糊性。
词法模糊性:单词有多重含义
句法模糊性:句子有多种分析树
语义模糊性:句子有多重意义
回指模糊性(AnaphoricAmbiguity ) :前面提到的短语和单词在后面的句子中有不同的含义。
其次,通过运用词汇和语法规则来理解每个单词的含义。
但是,既有具有相似含义(同义词)的词语,也有具有多个含义(多义词)的词语。
自然语言生成(NLG )。
NLG是以可读方式从结构化数据自动生成文本的过程。 自然语言生成的问题是很难处理的事情。
自然语言的产生可以分为三个阶段:
1、文本规划:完成结构化数据中基础内容的规划。
2、句子规划:从结构化数据中组合句子,表达信息流。
3、实现:生成语法相通的语句表达文本。
NLP与文本挖掘(或文本分析)的区别
自然语言处理是理解给定文本的含义和结构的流程。
文本挖掘和文本分析是通过模式识别来识别隐藏在提取的文本数据中的信息的过程。
自然语言处理用于理解给定文本数据的含义(语义),文本挖掘用于理解给定文本数据的结构(句法)。
自然语言处理
例如,在“I found my wallet near the bank”一文中,NLP的任务是理解文中“bank”一词是银行还是河流。
大数据中的NLP
现在所有数据的80%都可用,大数据来自大企业和企业存储的信息。 例如员工信息、公司采购、销售记录、经济业务及公司、社交媒体的历史记录等。
人类使用的语言对计算机来说是模糊的,是非结构化的,但是有了NLP的帮助,我们可以分析这些大型非结构化数据中的模式,更好地理解其中所包含的信息。
NLP使用大数据来解决零售、医疗、金融等业务挑战。
如何快速启动NLP自然语言处理概述
人工智能和自然语言处理概述: AI的三大阶段,NLP的重要应用领域
NLP自然语言处理技术,在人工智能法官中的应用是什么?
多智时代-人工智能与大数据学习入门网站|人工智能、大数据、物联网、云计算学习交流网站