perceptron算法,LDA算法

一个bat面试问题：如何快速替换10亿个标题中的5万个敏感词？

有10亿个标题，每个文件中每行都有一个标题。 有5万个敏感词，有另一个文件。 写一个程序过滤所有标题中的所有敏感词语，然后保存到另一个文件中。

1、DFA过滤敏感词算法

在实现字符滤波的算法中，DFA是一种比较好的实现算法。 DFA确保有Deterministic Finite Automaton，即贫穷的机器人。

算法的核心是建立基于敏感词的许多敏感词树。

#--编码3360 utf-8--导入时间time1=time.time () # DFA算法class DFAFilter ) : def _ _ init _ (self ) ) x00 ' defadd (自助， keyword (: keyword=keyword.lower ) chars=keyword.strip ) if not chars 3360 return level=self.keyword _ chains 3365365374; chain ] else : if not isinstance (level，dict ) 3360breakforjinrange () )。 len(chars ) ) : level [ chars [ j ]={ } last _ level，last_char=level， chars [ j ] level=level [ chars [ j ] ] last _ level [ last _ char ]={ self.delimit 3360 } break ifi==len (chars )=消息，repl=' * ' (:消息=消息. lower ) ) ret=[]start=0whilestartlen (消息) ) ) ) )。 3360 level=self.keyword _ chains step _ ins=0forcharinmessage [ start 3360 ] 3360 ifcharinlevel 3360 step _ ins=1if self . else 3360 ret.append (start=step _ ins-1 break else : ret.append (消息[开始] ) breakelse3360ret.append ) messe ) start if _ name _==' _ main _ ' : gfw=DFA filter (path=' f : /文本抗扰算法/sensitive_words.txt'gfw text=='新疆骚动苹果新产品发布会鸡八' result=gfw.filter(text ) print (text ) print ) result ) time 2

E:laidefapython

.exe "E:/Program Files/pycharmproject/敏感词过滤算法/敏感词过滤算法DFA.py"新疆骚乱苹果新品发布会雞八****苹果新品发布会**总共耗时：0.0010344982147216797sProcess finished with exit code 0

2、AC自动机过滤敏感词算法

AC自动机：一个常见的例子就是给出n个单词，再给出一段包含m个字符的文章，让你找出有多少个单词在文章里出现过。
简单地讲，AC自动机就是字典树+kmp算法+失配指针

# -*- coding:utf-8 -*-import timetime1=time.time()# AC自动机算法class node(object): def __init__(self): self.next = {} self.fail = None self.isWord = False self.word = ""class ac_automation(object): def __init__(self): self.root = node() # 添加敏感词函数 def addword(self, word): temp_root = self.root for char in word: if char not in temp_root.next: temp_root.next[char] = node() temp_root = temp_root.next[char] temp_root.isWord = True temp_root.word = word # 失败指针函数 def make_fail(self): temp_que = [] temp_que.append(self.root) while len(temp_que) != 0: temp = temp_que.pop(0) p = None for key,value in temp.next.item(): if temp == self.root: temp.next[key].fail = self.root else: p = temp.fail while p is not None: if key in p.next: temp.next[key].fail = p.fail break p = p.fail if p is None: temp.next[key].fail = self.root temp_que.append(temp.next[key]) # 查找敏感词函数 def search(self, content): p = self.root result = [] currentposition = 0 while currentposition < len(content): word = content[currentposition] while word in p.next == False and p != self.root: p = p.fail if word in p.next: p = p.next[word] else: p = self.root if p.isWord: result.append(p.word) p = self.root currentposition += 1 return result # 加载敏感词库函数 def parse(self, path): with open(path,encoding='utf-8') as f: for keyword in f: self.addword(str(keyword).strip()) # 敏感词替换函数 def words_replace(self, text): """ :param ah: AC自动机 :param text: 文本 :return: 过滤敏感词之后的文本 """ result = list(set(self.search(text))) for x in result: m = text.replace(x, '*' * len(x)) text = m return textif __name__ == '__main__': ah = ac_automation() path='F:/文本反垃圾算法/sensitive_words.txt' ah.parse(path) text1="新疆骚乱苹果新品发布会雞八" text2=ah.words_replace(text1) print(text1) print(text2) time2 = time.time() print('总共耗时：' + str(time2 - time1) + 's') E:laidefapython.exe "E:/Program Files/pycharmproject/敏感词过滤算法/AC自动机过滤敏感词算法.py"新疆骚乱苹果新品发布会雞八****苹果新品发布会**总共耗时：0.0010304450988769531sProcess finished with exit code 0

4、敏感词生成

# -*- coding:utf-8 -*-path = 'F:/文本反垃圾算法/sensitive_worlds7.txt'from 敏感词过滤算法.langconv import *import pandas as pdimport pypinyin# 文本转拼音def pinyin(text): """ :param text: 文本 :return: 文本转拼音 """ gap = ' ' piny = gap.join(pypinyin.lazy_pinyin(text)) return piny# 繁体转简体def tradition2simple(text): """ :param text: 要过滤的文本 :return: 繁体转简体函数 """ line = Converter('zh-jmdfh').convert(text) return linedata=pd.read_csv(path,sep='t')chinise_lable=[]chinise_type=data['type']for i in data['lable']: line=tradition2simple(i) chinise_lable.append(line)chg_data=pd.DataFrame({'lable':chinise_lable,'type':chinise_type})eng_lable=[]eng_type=data['type']for i in data['lable']: # print(i) piny=pinyin(i) # print(piny) eng_lable.append(piny)eng_data=pd.DataFrame({'lable':eng_lable,'type':eng_type})# print(eng_data)# 合并result=chg_data.append(eng_data,ignore_index=True)# 数据框去重res = result.drop_duplicates()print(res)# 输出res.to_csv('F:/文本反垃圾算法/中英混合的敏感词10.txt',header=True,index=False,sep='t',encoding='utf-8')