首页 > 编程知识 正文

骂人不带脏字的话,敏感词检测算法

时间:2023-05-04 10:35:24 阅读:118224 作者:3993

信息也在增加,字符串匹配算法起着非常重要的作用。

有kmp算法、索引法,还有什么拖拉机法等。

我参考了索引法。 索引法主要是对关键词进行排序后再进行匹配。

测试结果: 2000个关键词,110K文章,匹配140毫秒。

21万个关键词,110K文章,匹配9.845秒。

以上结果,只要检测出一共出现了多少个关键字,并调查是否有该测试结果,只要与16毫秒一致就OK。

程序演示:

http://files.cnblogs.com/mmpc/大容量关键字匹配. rar

感谢Sumtec的回复,本人修改了部分索引,从9.845秒提高到1:688秒。

修改后的程序演示:

http://files.cnblogs.com/mmpc/大容量关键字匹配修改. rar

-------------请参阅

程序再次提高。 110K只花了656毫秒

改进的程序练习:

http://files.cnblogs.com/mmpc/大容量关键字匹配提取. rar

程序再次提高。 10k为359毫秒,包含关系的为203毫秒

文章出现……没有价值……关键词有“没有价值”、“有价值”、“没有价值”,该程序只寻找“没有价值”的关键词

改进的程序练习:

http://files.cnblogs.com/mmpc/大容量关键字匹配再次提及. rar

考虑到昨晚结合关键词和两点进行查询,理论应该进入最新的21万关键词110K文章203毫秒到100毫秒以内的大关。 有空再写演示程序给大家。

转载于:https://www.cn blogs.com/mmpc/articles/2047474.html

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。