1、文本分词有中文分词和英语分词，后者目前多在nltk上进行分词处理； 这篇文章主要介绍中文分词。 其主要想法有两个。 就是查字典和字表。 查词典的方法有机械最大匹配法、最小词数法、基于有向无环图的最大概率组合eg: jieba分词、基于语言模型的最大概率组合等。 字表记法是指用几种标记来表示句子的正确分词方法。 我打算使用前者，但好的查词典方法需要两个条件：制作排序特殊的词典。 有效的搜索条件。 关于，可以构造前缀树(tire)； 关于，现在也有相应的经典算法(如AC算法)。 为了检查词典的间隔书写，使用交流机器人可以有效地进行检索。
交流机器人算法； 请回想以前学习过的KMP模式匹配。 其核心思想是给出模板和匹配对象的文本串，查找该模板在该文本串中存在的情况(是否存在、存在的位置或出现多少次等)。 但是在现实生活中往往会面临多个模板和很多字符串。 此时，如果想把它一个个取出来用KMP匹配的话，会严重损害效率。 为了解决问题，交流自动机算法应运而生，并大量应用于答疑检索系统中。 在使用交流算法进行搜索之前，必须构建前缀树(tire)。 构建方法是用具体的代码实现的。 多模式匹配的实现步骤为：构建前缀树； 设置各节点的故障节点(http://www.Sina.com/)收集各节点所有匹配模式列信息搜索匹配目标列。 目前，python有现成的即fail指针，与KMP中的next有类似功能，能够实现基于AC算法的词典检索功能。
2、知识推理是知识图谱补充的重要手段，也是知识图谱研究领域的一大热点。 在神经网络发展的过程中，在知识推理中的应用也越来越受到重视。 基于神经网络的知识推理方法具有更强的推理能力和泛化能力，在知识库中实体、属性、关系、文本信息利用率高，推理效果好。
pyahocorasick库
基于神经网络的知识推理的主要思路是利用神经网络的学习能力和泛化能力对知识图的事实元组建模。 这里主要介绍基于语义的推理方法。
基于语义的推理
基于语义的推理基于挖掘和利用语义信息，如实体和关系的名称、说明、上下文信息等。 文本含有丰富的语义信息，信息之间有着深刻的语义关联，因此文本和语义信息自然成为知识推理领域的主要推理依据。 本文介绍了两种基于语义的推理模型。
)1)基于神经网络的推理主要分为三种： 基于语义的推理； 基于结构的推理； 基于辅助存储的推理。
利用知识库中已经存在的实体和关系进行的知识地图补充被定义为“封闭世界知识地图补充”，即“封闭世界知识地图补充”，这种知识地图补充方法很大程度上依赖于现有知识地图的连接，是从知识地图外部参与的为了适应知识地图外部未知的新实体，研究人员还可以定义“开放世界知识地图补充”，即“开放世界知识地图补充”，接收知识库外部实体并链接到知识地图。 基于上述思想提出了ConMask模型，该模型主要分为三部分操作。 (1)隐藏依赖关系的内容)筛选文本信息，删除无关信息，只保留与任务相关的内容，其中利用注意力机制； (目标融合)利用全体积神经网络从相关文本中提取目标实体的嵌入向量； (3)目标实体分析)候选实体的生成与提取实体的嵌入之间的相似度排名，相似度最高被认为是最好的结果。
但是，ConMask模型从文本中获取信息。 因此，如果没有出现能准确描述实体和关系的文本，模型就不能得到充分的推理依据，推理效果受到很大损害，这种方法很难应对文本信息不足的情况。
)2)ConMask 模型
目前，智能交互系统已经成为人工智能领域研究的热点话题之一，知识地图已经在基于知识的交互领域显示出其威力。 现有的答疑系统通常依赖于各个特定组件来解决问题的不同子任务(分割、实体识别、消歧、关系分类等)，最终得到正确答案。 答疑系统的传统方法一般是构建复杂的自然语言处理流水线pipeline，这需要人为干预才能使错误的信息沿流水线传播，适应新的领域。
为了避免管道模型复杂的NLP管道结构、错误的传播问题，使模型能够在不同的领域重新训练或重用，研究者们采用了完全不同的方法。 他们学会对主谓词对进行排序，以搜索与给定问题有关的事实，然后端到端地回答简单的问题。 该模型包含嵌套单词/字符级别的问题编码器，可以使用来自问题的字符级别和单词级别信息进行实体预测和谓词预测，以解决词汇表外的罕见单词问题。 也就是说，该模型结合了字符级模型的优点和单词级模型的丰富含义。 虽然这种方法仅限于回答简单的问题，但这项工作为将来开发更高级的神经问答方法提供了基础，可以应对更复杂的问题。