编辑指南：自然语言处理是人工智能的细分领域，是一个巨大的系统工程。 本文从自然语言处理概要、句法分析、发展现状、话语分割、知识体系、消解指示6个方面展开分析，希望对你有所帮助。
最近，在人工智能的细分领域整理了自然语言处理的相关知识点。 随着被调查的资料增加，在整理的过程中，也开始意识到自己的无知。
自然语言处理是人工智能的细分领域，而自然语言处理这个细分领域内有很多细分领域。
自然语言处理也是涵盖多门学科的一个体系化的大型项目。 自然语言处理除了常见的分词、分词、分节、词目计算、词性标注、有限状态自动机、隐马尔可夫模型等基础计算机理论知识外，还涉及语音学、语言学、心理学、统计学、脑科学等多个领域的学科知识。
一个人不可能把自然语言处理的所有知识都掌握。 此外，只需找出其中的一个或几个难点进行研究。
今天的主题定为《人工智能之自然语言处理初探》，但是主题好像也有点太大了。 所以再取一个副标题，叫做“语义识别”。 尽管如此，今天有限的文章记述和PPT演示很难涵盖语义识别这个领域的全部内容。
今天的文章以PPT为主线，时间限制和这个领域的内容确实非常深刻，谁也不能保证即使埋头苦干了三年也掌握了自然语言处理的语义分析。 无止境，这也许也是科学的魅力。
本文主要分为六个章节，第一章首先简要介绍自然语言处理。
主要介绍自然语言处理(Natural Language Processing，以下用NLP代替) )的苦命分类，同时介绍NLP在文本和语音两方面的业务APP。
第二章从发现的历史、参与的公司以及行业规模介绍目前NLP的发展现状。
第三章，梳理整个NLP体系。
第四、五、六章主要阐述NLP中语义识别中句法分析、话语切分、指示消解的基础原理。
自然语言的理解水平一般分为语音分析、词法分析、句法分析、语义分析和语用分析。
简单地说，语音分析主要根据音位规则，从语音流中提取独立的音素，根据音位形态规则找出音节及其对应的单词； 词法分析主要是找出词汇中的词素，获得其语音学信息； 句法分析是指分析句子和句子中的短语结构，发现其存储器的关联关系； 语义分析是通过找出单词、结构，结合语境，获得准确的语义。语用分析是研究语言在语言所处的实际语言环境中对语言使用者的实际作用。
1950年：图灵测试、经验意义方法和基于规则的方法。
1970年：基于统计的方法，合理含义方法。
2008年：深度学习。
2013年： WordEmbeddings(Word2vec )将bhdds向量嵌入低维空间，Neural Networks Fornlp (RNNLSTMCNN )。
2014年： Seq2Seq模型、Seq2Seq模型是输出长度不确定时采用的模型； 机器转换，结构精度。
2015年： Attention，将一个输入序列表示为连续序列，解码后生成一个输出序列。 模型的每个步骤都是自回归的。 即，假设以前生成的结果是用于生成下一个符号的附加输入。 Transformer将一句话直接作为一个矩阵来处理。
2018年：基于内存的神经网络，神经机器。 2018m米，预排列语言模式，ELMo，BERT。
2019年：自然语言生成，学习，比特模型。
自然语言处理(NLP )正处于历史上最好的发展时期，技术不断进步，与各行各业融合，不断落地。
数据显示，中国自然语言处理(NLP )技术市场规模持续增长，2018年中国NLP )技术市场规模比去年同期增长52.6%，达到20亿6000万元。 未来，随着NLP技术的进步，将拥有大规模的市场需求和可扩展的巨大市场空间。 2021年市场规模预计将达到近70亿元。
NLP整个知识体系非常多。 研究模型主要是针对自然语言场景问题，算法如何应用于解决这些问题。 尽管涉及到如此多的基础知识，现在NLP仍然面临着许多问题
题，例如：场景的困难，语言的多样性、多变性、歧义性，使得NLP准确性受到制约。学习的困难，如何设计高效的学习模型？语料的困难，NLP应该使用什么样的语料？如何获得这些语料？对于语义识别，需要对句法进行剖析，因此剖析在问答系统、信息抽取、语法检查中都起着非常重要的作用。
1954年1月7日，美国乔治敦大学和IBM公司首先成功地将60多句俄语自动翻译成英语。当时的系统还非常简单，仅包含6个语法规则和250个词。而实验者声称：在三到五年之内就能够完全解决从一种语言到另一种语言的自动翻译问题。但直到今天，自然语言处理别说是自动翻译，简单的句法分析仍然有很多要完善的空间。
“咬死了猎人的狗。”究竟是“[咬死了猎人][的狗]”还是“[咬死了][猎人的狗]”呢?如果不借助于上下文和语境，即便是人都很难理解，更不用说使用的句法分析了。
我们通过计算，可以增加句法分析的准确性。但是否能真实反应语义，仍然有很大的发展空间。
我们可以计算布朗预料库中每个句子的平均词数。在其他情况下，文本可能只是一个字符流。在将文本分词之前，需要将它分割成句子。有时可以借助于标点体符号以及一些典型的计算机符号，例如换行符来进行对句子分隔，但对于没有任何标点符号的文字段落来讲，人类可以借助经验理解里面的内容，NLP是否也能准备分割，也是比较难的一个研究领域，还有很大的发展空间。
指代消解是NLP里非常重要的一个细分的研究领域，应用场景非常多。例如智能对话预定酒店机票，“从天津到北京的机票多少钱？”计算机NLP后，给出一个结果，这个时候，再问“那到上海呢？”，这个就需要NLP有更深层的理解了。而现实中的对话场景，远比这个要复杂的多，NLP是否能准确识别，就依赖于指代消解的准确度了，这直接关系到NLP的产品质量。
总结：
今天主要是对NLP中的语义识别的一个领域进行初步探索。人工智能是一个非常大的范畴，即便人工智能的子领域NLP，涉及的基础研究也非常多，而且这些基础研究短时间内也很难见效，很多公司都有业绩压力，往往出于收益，即便不是一个很完善的NLP产品，也先要推向市场。
不论是NLP应用在哪个领域，构建什么样的产品，解决什么样的现实问题，根本还是要依赖于基础科技的研究，一个个丰富多彩的NLP产品，都是由一个个基础功能整合而成。正所谓，不积跬步无以至千里，不积小流无以成江海。
作者：飞快的盼望，中国计算机学会（CCF）会员。微信公众号：佳佳原创
本文原创@佳佳原创 发布于人人都是产品经理，未经许可，禁止转载。
题图来自Unsplash，基于CC0协议