首页 > 编程知识 正文

敏感词过滤算法有几种,敏感词检测api

时间:2023-05-03 13:19:49 阅读:275002 作者:3602

字符串匹配是一个技术活,敏感词检测首先有一个敏感词词库,也就是敏感词的列表。

第一个想到的方法把敏感词放到一个set里,再待检测的文本分词,到set里去匹配;

第二种方法是遍历set,用正则表达式来过滤。

以上两种方法,在数据量小的时候没有问题,但是,当数据量非常大的时候,性能就不行了。

前缀树算法:
https://blog.csdn.net/qq_37410328/article/details/83183673

AC自动机:
https://blog.csdn.net/weixin_33973600/article/details/91664339

DFA算法:
https://www.cnblogs.com/zyguo/p/4705086.html

github:
https://github.com/toolgood/ToolGood.Words

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。