首页 > 编程知识 正文

自然语言处理包括,幼儿园语言领域遇到的困惑

时间:2023-05-03 17:12:07 阅读:142238 作者:1673

要实现自然语言处理,即人与人之间的自然语言交流,或者实现自然语言理解和自然语言生成,都是非常困难的。 困难的根本原因是广泛存在于自然语言文本和对话各个层面的各种模糊性或多义性。

中文文本是由包含标点符号等的汉字构成的字符串。 由字构成词,由词构成句子,由句子构成句子,再由几个句子构成段、节、章、篇。 上述各个等级,即,字(符)、词、短语、句子、段……,或者从下一个等级到下一个等级的转移中存在歧义和多义现象,即形式上存在相同的字符串,在不同的场景或不同的语境中存在不同的单词串、短语串等一般来说,它们大多可以根据适当的语境和场景规定来解决。

但另一方面,也发现为了消除歧义,需要极其多的知识和推理。 如何更完整地收集和整理这些知识; 如何找到合适的形状并将其保存在计算机系统中; 如何有效地利用它们消除歧义,是一项工作量非常大、非常困难的工作。 这不是少数人能短期内完成的,有长期的、系统的工作。

综上所述,一个中文文本或者一个汉字(包括标点符号等)字符串可以有多个意思。 它是自然语言理解中的主要困难和障碍。 相反,也可以用多个中文文本或多个汉字串表示相同或相近的意思。

因此,自然语言的形式(字符串)与其含义之间存在多对多的关系。 其实这也是自然语言的魅力。 但从计算机处理的角度来看,必须消除歧义,有人认为这是自然语言理解中的中心问题。 也就是说,必须将具有潜在歧义的自然语言输入转换为无歧义的计算机内部表示。

要解决上下文问题:

另外,通过强调“大规模”和强调“现实文本”,以下两项基础性工作也得到了重视和加强。

(1)开发大规模真实语料库。 大规模不同深度加工的现实文本语料库是研究自然语言统计性质的基础。 如果没有它们,统计方法只能是无源之水。

)2)大型信息丰富的词典的制作工作。 数万、十几万、甚至几十万个单词规模,包含含有单词的搭配信息等丰富信息的计算机可利用词典对于自然语言处理来说很重要。

自然语言处理的数据基础:

自然语言处理的基础是tc-corpus-train (语料库训练集)、面向文本分类研究的中文英语新闻分类词汇、IG卡方等特征词选择方法生成的多维ARFF格式中文VSM模型、万篇随机抽取论文中文DBLP资源、中

参考资料

33558 baike.Baidu.com/view/18784.htm

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。