文章目录 一、简单说明 二、执行过程 1.拿到文本 2.分词处理 text 3.生成n-gram统计文件 4.生成语言模型 5.转为二进制文件 6.生成trie文件 7.结果分析 三、生成原理 1.增加``和``标记符，表示句子的开头和结尾。 2.映射ID 3.Counting 4.Adjusting 5.Discounting。 6.Normalization 7.Interpolation
一、简单说明
常用的N-gram训练工具
文章目录 一、简单说明 二、执行过程 1.拿到文本 2.分词处理 text 3.生成n-gram统计文件 4.生成语言模型 5.转为二进制文件 6.生成trie文件 7.结果分析 三、生成原理 1.增加``和``标记符，表示句子的开头和结尾。 2.映射ID 3.Counting 4.Adjusting 5.Discounting。 6.Normalization 7.Interpolation
一、简单说明
常用的N-gram训练工具
版权声明：该文观点仅代表作者本人。处理文章：请发送邮件至 三1五14八八95#扣扣.com 举报，一经查实，本站将立刻删除。