文本数据可视化是利用可视化技术刻画文本和文档，直观地表达其中的信息。
文本数据在大数据中的应用和抽取文本数据在大数据中的应用对文本的理解需求分为词汇层面、语法层面和语义层面三个阶段。
词汇层面使用各种分词算法，语法层面使用几种句法分析算法，语义层面使用主题抽取算法。
文本数据类别分为：单文本、文档集合、时间序列文本。
文本可视化基本流程:原始文本---文本信息挖掘(文本预处理，jadsy提取与测量)--视图绘制(图形设计，图形布局)--人机交互
web爬虫提取文本数据统一资源定位符(URL )格式： protocol 3360//hostname [ pr/] pat/parametersj [？ query]#fragment
第一部分是协议(protocol )，例如，百度使用了HTTPS。
第二部分hostamef:port]、主机名(以及端口号是可选参数，端口号通常默认为80 )、示例、百度主机名为www.baidu.com，这是服务器的地址。
第三部分path是主机资源的具体地址，如目录和文件名。
Python爬虫架构主要包括调度程序、URL管理器、web下载程序、web解析器和数据库。
1 )调度程序：相当于计算机CPU，主要负责URL管理器、网页下载、网页解析器之间的协调工作。
2 ) URL管理器：管理crowled的URL地址和crowled的URL地址，以防止URL的重复获取和URL的旋转。
)3) web下载器：通过传递URL地址下载web内容。 Python支持web页面下载的库包括urllilb模块和requests模块等。
)4)网页折叠器。 分析网页的字符串。 web解析器包括正则表达式、html.parser (随python提供)、beautiful soup (beautiful soup )和lxml )第三方插件，用于解析xml和html。
)数据库：将从网页收集的有价值的数据存储在数据库中。
文本信息分析向量空间模型词袋模型
指在信息检索中，将某个文本仅仅看作单词集合，不考虑其语法、语序等信息。 文本中的各词相互独立，不依赖于有无其他词的出现。
词袋模型是向量空间模型构造文本向量的常用方法之一，常用于提取词汇级文本信息。
词袋模型是指忽略语序、语法、语句，过滤掉对文本内容影响较小的词(禁用词)，将文本视为由一系列重要词汇集合组成的向量，每个词汇表示一个维度，维度的值是该词汇在文档中出现的频率。 TF-IDF
TF-IDF是信息检索和数据挖掘中常用的加权技术。 TF的意思是词数，IDF的意思是逆文本频率指数。
TF-IDF的主要思想是，文本中：个词的重要性与文本中出现的次数成正相关，但是随着其在文档集合中的出现频率的增加而降低。 主题抽取主题模型是一种对文本中隐含主题的建模方法，它从语义层面描述文档集中的单个文本信息。
文本主题的提取算法大致分为两种：基于贝叶斯的概率模型和基于矩阵分解的非概率模型。
文本数据可视化文本数据可视化可以分为文本内容可视化、文本关系可视化以及文本多特征信息可视化。
文本内容可视化文本内容可视化是将分析了文本内的重要信息的演示1关键词进行可视化的东西
)1)标签云：
标签云是最常见、最简单的关键字可视化方法，主要分为以下两个步骤。
统计文本中词的出现频率，提取出现频率高的关键词。 按照一定的顺序和规律展示这些关键词。 )2)文档分发：
在文件中，使用词汇库内的结构关系配置关键词，另外，使用词汇关系网内具有上下语义关系的词配置关键词，明确文本内的内容。
以一个单词为中心点，用户可以指定中心点的词汇，选择中心点的词汇所呈现的可视化结果差异较大。 将整篇文章中的话语表达在一个径向层次的圆环中，作为外层话语里层话语的同义词。 由此，可以直观地显示文档中心词在语言关系网上是如何表达的。
2时间序列文本可视化
(1)主题河流：
主题河主要用于反映文本主题强弱变化的过程。
局限性：每时每刻只能将每个主题简单地组合成一个数值，无法刻画主题的特性
经典主题河流模型具有以下两个属性：
颜色：表示主题的类型，一个主题用一种颜色的冲击电流表示。 宽度：表示主题的数量(或强度)，冲击电流的状态可能随着主题的变化而扩张、收缩或保持不变。 )2)文本流：
文本流不仅可以表达主题的变化，而且可以随着时间的推移显示各主题之间的分裂和合并状态。
(3)故事情节：
故事的流程经常被用来表示电影和小说中的剧情和时间线。
3文本分布可视化
文本弧可视化技术不仅可以显示词的数量，还可以显示词的分布情况。
文本湖的特性如下。
用一条缓和曲线表示一篇文章，缓和曲线的首尾对应着文章的首尾，文章的语言有序分布在缓和曲线上。 如果整个文章中频繁出现词语，则分布在靠近画布中心的区域。 如果单词只是局部频繁出现，则靠近螺旋分布。 字体的大小和颜色的深度表示词语的出现频率。 可以是文本关系
视化 文本关系的可视化既可以对单个文本进行内部的关系展示，也可以对多个文本进行文本之间的关系展示基于图的文本关系可视化：(1) 词语树：
词语树可以直观地呈现出一个词语和其前后的词语，用户可自定义感兴趣的词语作为中心节点，中心节点向前扩展，就是文本中处于该词与前面的词语，中心节点向后扩展，就是文本中处于该词语后面的词语。字号大小代表了词语在文本中出现的频率。
(2) 短语网络：
短语网络包括以下两种属性：
节点：代表一个词语或短语。
带箭头的连线:表示节点与节点与节点之间的关系，需要用户定义。文档间数据可视化
（1） 星系视图：
星系视图可用于表征多个文档之间的相似性。
（2） 文档集抽样投影：
文本多特征信息可视化
平行标签云将标签云在水平方向上基于多个不同的特征进行显示，每一个特征对应着一列标签云，列与列之间的特征都不一样。颜色越深,字号越大,说明关键词频率越高
关系图：原地址 #来源pyecharts官方文档import jsonfrom pyecharts import options as optsfrom pyecharts.charts import Graphwith open("weibo.json", "r", encoding="utf-8") as f: j = json.load(f) nodes, links, categories, cont, mid, userl = jc = ( Graph() .add( "", nodes, links, categories, repulsion=50, linestyle_opts=opts.LineStyleOpts(curve=0.2), label_opts=opts.LabelOpts(is_show=False), ) .set_global_opts( legend_opts=opts.LegendOpts(is_show=False), title_opts=opts.TitleOpts(title="Graph-微博转发关系图"), ) .render("graph_weibo.html"))