概述：
互联网上海量的信息量给信息处理带来了巨大的挑战，特别是在中文信息处理领域，其中最重要的一个是对中文分词技术的要求。 汉语分词的主要目的是将汉语句子解析为具有正确意义的词语组合，使计算机能够理解句子的意义、信息索引、自动摘要、文本分类、自动聚类、文本纠错、手写输入等各个领域的信息处理本文利用条件随机场统计模型成功地将汉语分词中的词切分问题转化为汉字组合构词问题，主要引入汉字词位的概念，通过汉字词位的标注可以按照词位组合规则进行词整合。 整个过程通过机器学习训练的方法来实现，不仅可以提高分词的准确率，而且可以使分词工作摆脱对词典的依赖。 本文采用JAVA语言实现了基于条件随机场的分词系统，首先统计实际语料库的特征信息，建立可扩展、可维护的特征信息库，然后采用viterbi算法对单词的比特序列求解最优解。 在实现viterbi算法的过程中，引入了规则限制以消除无效组合，减少了viterbi算法的计算量。 实验阶段利用真实语料库进行训练和测试，编制高效的性能评价算法分析系统分词结果。 本文的研究方法可以根据汉字的词位组合规则识别未登录词，可以对未登录词的识别问题进行进一步的研究。
展开