本文目录一览：
如何利用Python对中文进行分词处理
python做中文分词处理主要有以下几种：结巴分词、NLTK、THULAC
1、fxsjy/jieba
结巴的标语是：做最好的 Python 中文分词组件，或许从现在来看它没做到最好，但是已经做到了使用的人最多。结巴分词网上的学习资料和使用案例比较多，上手相对比较轻松，速度也比较快。
结巴的优点：
支持三种分词模式
支持繁体分词
支持自定义词典
MIT 授权协议
2、THULAC：一个高效的中文词法分析工具包
前两天我在做有关于共享单车的用户反馈分类，使用jieba分词一直太过零散，分类分不好。后来江兄给我推荐了THULAC： 由清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包 。THULAC的接口文档很详细，简单易上手。
THULAC分词的优点：
能力强。利用规模最大的人工分词和词性标注中文语料库（约含5800万字）训练而成，模型标注能力强大。
准确率高。该工具包在标准数据集Chinese Treebank（CTB5）上分词的F1值可达97.3％，词性标注的F1值可达到92.9％
速度较快。同时进行分词和词性标注速度为300KB/s，每秒可处理约15万字。只进行分词速度达到1.3MB/s，速度比jieba慢
Python 解决中文编码问题基本可以用以下逻辑：
utf8（输入） —— unicode（处理） —— （输出）utf8
Python 里面处理的字符都是都是unicode 编码，因此解决编码问题的方法是把输入的文本（无论是什么编码）解码为（decode）unicode编码，然后输出时再编码（encode）成所需编码。
由于处理的一般为txt 文档，所以最简单的方法，是把txt 文档另存为utf-8 编码，然后使用Python 处理的时候解码为unicode（sometexts.decode('utf8')），输出结果回txt 的时候再编码成utf8（直接用str() 函数就可以了）。
如何用python对文章中文分词并统计词频
1、全局变量在函数中使用时需要加入global声明
2、获取网页内容存入文件时的编码为ascii进行正则匹配时需要decode为GB2312，当匹配到的中文写入文件时需要encode成GB2312写入文件。
3、中文字符匹配过滤正则表达式为ur'[u4e00-u9fa5]+',使用findall找到所有的中文字符存入分组
4、KEY，Value值可以使用dict存储，排序后可以使用list存储
5、字符串处理使用split分割，然后使用index截取字符串，判断哪些是名词和动词
6、命令行使用需要导入os,os.system(cmd)
Python 画好看的云词图
词云图是数据分析中比较常见的一种可视化手段。词云图，也叫文字云，是对文本中出现频率较高的 关键词 予以视觉化的展现，出现越多的词，在词云图中展示越显眼。词云图过滤掉大量低频低质的文本信息，因此只要一眼扫过文本就可 领略文章主旨 。
例如?上面这张图，看一眼就知道肯定是新华网的新闻。
那生成一张词云图的主要步骤有哪些？这里使用 Python 来实现，主要分三步：
首先是“结巴”中文分词 jieba 的安装。
对于英文文本，word_cloud 可以直接对文本源生成词云图。但是对中文的支持没有那么给力，所以需要先使用 jieba 对中文文本进行分词，把文章变成词语，然后再生成词云图。例如：
jieba.cut 分词：方法接受三个输入参数，sentence 需要分词的字符串；cut_all 用来控制是否采用全模式；HMM 用来控制是否使用 HMM 模型。
jieba.cut_for_search 分词：方法接受两个参数，sentence 需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细。
jieba.analyse.textrank 使用 TextRank 算法从句子中提取关键词。
然后安装 wordcloud 词云图库。
如果执行上面命令后，显示 success，那么恭喜你，安装成功了。
我就遇到了 Failed building wheel for wordcloud 的错误。于是先安装 xcode-select, 再安装 wordcloud 即可（无需安装 Xcode）。
wordcloud 库把词云当作一个 WordCloud 对象，wordcloud.WordCloud() 代表一个文本对应的词云，可以根据文本中词语出现的频率等参数绘制词云，绘制词云的形状、尺寸和颜色。
1、首先导入文本数据并进行简单的文本处理
2、分词
3、设置遮罩
注意：
1、默认字体不支持中文，如果需要显示中文，需要设置中文字体，否则会乱码。
2、设置遮罩时，会自动将图片非白色部分填充，且图片越清晰，运行速度越快
其中 WordCloud 是云词图最重要的对象，其主要参数描述如下：
效果如下图：
上小结是将文章中所有内容进行分词，输出了所有词，但很多时候，我们有进一步的需求。例如：
1、只需要前 100 个关键词就够了。
2、不需要五颜六色的词语，应与遮罩图片颜色一致。
100个关键词，我们在分词时使用 TextRank 算法从句子中提取关键词。
遮罩颜色可通过设置 WordCloud 的 color_func 属性。
最终效果如下：