现在，都说是大数据时代，但百度不能给我一个通俗易懂的答案：什么是大数据，为什么会出现这种情况，如何应对？

最初在小数据时代，数据存储的问题可以通过表工具、mysql(数据逐行插入的二维表数据库)等关系数据库来解决。

然而，随着互联网的快速发展，产品和用户的激增，产生了大量的数据。

考虑到快速发展，公司会分析与产品和用户相关的原生数据和埋藏数据，传统的关系数据库无法满足需求，只能通过行和分布式数据库(HBASE、蜂巢等)来存储这些数据。可以对其进行群集，并将其分发到多个主机进行同时计算)。

当数据量大的时候，裸露的数字必然会让人昏昏欲睡，于是出现了从数据到图表的转变，这就是我们所说的数据可视化。

认识数据可视化

，有了数据，数据分析就成了最关键的环节。我们公司的分析师曾经对我说：数据分析主要是着眼于整体分析，而不是着眼于特殊的个别数据，从而为产品提供宏观有效的参考价值。

用户逐个查看海量数据是不可行的，可视化是有效的解决方案。用表格工具生成图表和透视表可以分析少量数据，但大数据的分析需要专门的可视化工具，如Tableau、FineBI等。

大多数商业数据可视化工具在计算和图表显示方面功能强大，但不能快速生成实时数据，大部分数据都是以推送(固定范围)的形式。有时，需要对数据进行再次处理，以满足可视化产品的规则(商业产品过于通用，无法适用于所有企业数据规范)。

此外，随着许多图表插件(如Echart、GoogleChart)的开源以及行业对数据安全的考虑，越来越多的公司开始私下部署数据可视化。

00-1010 1.探索性可视化

探索性可视化需求一般集中在数据分析场景中的数据探索场景。在分析数据时，我们需要先探索数据，然后才能得出结论。

但是为什么我们需要使用可视化来探索数据呢？难道不能用统计学得出结论吗？其实不是。最典型的例子是安静的航空四重奏。四组数据的平均值、方差和相关系数都是一样的，你可能会认为这些数据的分布应该是相似的。

然而，当甜美的星星和月亮使用数据可视化来查看这些数据时，你会发现它们的分布是不同的：

从过程来看，探索性可视化是这样的：

2.解释性可视化

解释性要求一般集中在完成数据探索并形成一定的数据洞察后的讲故事场景。你在网上看到的一些“一图看懂XXX”和“一图看懂XXX”属于解释性可视化。所以解释可视化的过程如下：

国内可视化步骤一般如下：

用户将数据导入到产品中，然后做一些可视化的探索，或者直接将数据可视化的表达出来。

但是基于我对目前用户样本量的了解，我发现这种面向业务的产品框架并不适合国内市场。因为这类产品的用户基本都是专业用户(数据分析师)，他们忽略了中国企业大多没有设置专门的数据分析岗位的事实。

有能力提供数据分析师的企业一般是大中型企业和互联网企业，他们的支付能力可能比较强，但也意味着用户数量会比较少。用户样本集中在以下两个模块中：

专业用户对应数据分析师，半专业用户对应类似的财务、销售、HR等。他们很专业，但在商业上很专业。

数据分析上不专业的用户。在企业里面，其实半专业用户远大于专业用户。而这类用户的日常工作又一般集中在解释性可视化上面，比如年终总结、年度规划、每月汇报中都需要利用到数据可视化。所以这类用户的流程是这样的：

用户导入数据，无需太复杂的操作，即可直接生成图表。（为什么少了数据化探索呢？其实是因为在半专业用户中，又以中小型企业的用户为主，他们的业务相对单一，且交易、财务数据都不会太大。当然了还有一些是靠 erp 数据分析的，这里就不展开细谈了。）

然后根据图表，补充自己的洞见，就可以制成报告给到老板。

数据可视化的实现

数据可视化产品（系统）的结构框架主要分为三层：数据存储层、数据计算层、数据展示层。

1. 数据存储层

数据存储层在开头已经和大家说过了，在数据可视化产品（系统）中，既支持常规数据（MySQL、CSV等）可视化，也支持大数据（hive、HBASE等）的可视化，满足日常分析人员定性、定量的分析。

在考虑到数据安全的因素，数据存储还会与权限管理相结合，实现不同角色的人只能访问指定的数据。

2. 数据计算层

这里的计算不是平时所说的聚合、排序、分组等计算，解释之前我们先了解一下数据分析的工作流程吧：

产品/运营人员提出数据需求，如“APP一周留存 ”；分析师确认需求后需要明确本次分析需要的字段及分析方式；数仓人员提供整理后的表格（数据模型，多张表join后合成的中间表）；分析师基于数据模型进行可视化分析。

数仓提供的数据模型主要分为增量、全量数据，不能直接对某个较长范围的数据进行分析，举个例子1月1日、1月2日两天都产生了数据，增量、全量的数据存储方式效果如下：

3. 数据展示层

可以给很多人看，数据分析师，业务人员，IT人员，还有管理层。

我想未来的 BI 的产品不能将自己定位为「工具」，而是应该定位为「服务」。

这里的「服务」不是说从原来的买断式收费，转变为按年收服务费，这只是商业模式的转变。我理解的转变是要从产品理念上做文章，BI 产品不能只是一个工具，而应该是一个服务平台，连接企业内外部数据之外，并且更重要的是，需要连接企业内外部的业务。比如连接供应链的数据，连接财务数据，连接审批数据等等。

比如，对于一家生产鱼丸的企业，当系统发现制作鱼丸的原材料库存不足，但是又快到销售的旺季，是不是能提前预警，并且快速将此信息发到供应商那，直接订货。再比如，当一家企业的现金流并不是非常健康时，系统能否能推荐企业一些「财务顾问」服务，甚至「现金贷款」服务？

我相信总归是有办法的。