大数据的完整解决方案与体系化[日期： 2014-11-25]来源：人月神话新浪博客作者：人月神话[字体：大中小]
我们稍后将谈到大数据，大数据涉及多个领域：主要数据、数据中心和ODS、SOA、云计算、业务BI。 在此之前，我们看到了大数据更多关注业务内容，云平台更多技术内容的提法。对于大数据会先把各个理解的关键点谈完了，再系统来看大数据的完整解决方案和体系化。
对传统BI的改进
大数据相对于传统BI的改善不仅增加了半结构化数据和非结构化数据等数据类型，而且还提高了实时性。 传统的BI方式，基于ETL -’ODS -’dw的思路，几乎不能解决BI分析的实时性问题。 数据量大，大量数据在传统的BI上，不是新问题。 特别是结构化数据，无论多么大量都有一个程度，非结构化数据膨胀和存储量大，需要考虑数据方差，同时数据方差后带来的重要问题是数据分析的实时性问题。 这里的实时性不仅指从ODS和DW进行分析查询的速度，而且在业务事件发生后实时分析的速度也很多。
在 对于非结构化数据，考虑的是索引数据的结构化，指标体系或计算规则的结构化，而不是所有非结构化数据的全部结构化。中，传统BI的数据仓库和建模策略也将带来类似的变化。 指标体系本身没有变化，但从指标体系中根据业务需求检索分析数据的过程发生了变化。
对数据中心的影响
在传统的数据中心中，我们谈论的是基于ODS构建共享数据服务平台。 ODS的核心目标是建立共享数据服务，数据本身通过各种数据服务提供，数据完全开放不仅面向DW服务，而且面向更多的业务系统。 数据本身不落地，经过转换和清洗，是与传统数据交换平台的区别。
ODS不仅存储MDM主数据，还存储核心动态数据。 这些动态数据的特点是在多个业务系统之间共享。 这种共享和数据不落地解决的最大问题是传统数据交换导致的数据多点复制和不一致性问题。在谈到大数据的时候，带来的改变是大数据平台除了结构化数据外，需要包括非结构化数据等各种异构数据，那么大数据平台应该有一个共享的数据服务层，集成各种底层异构数据，提供数据共享服务。 要知道用户不关心数据结构或物理存储。
ESB总线和大数据的关系
谈大数据时，ESB总线更多地体现了数据服务。 数据收集不一定要以ESB数据集成方式进行，但数据服务本身的提供可以访问ESB总线，提供统一的数据服务。 大数据提供统一的大数据视图，ESB提供大数据服务目录和统一的大数据目录视图。 ESB经常提供大数据服务目录库和集成服务视图，而不仅仅是数据集成。 请注意，ESB不是整个大数据体系结构的必需部分，而是特别偏向于ESB总线。
大数据和数据分析层次
谈BI时，我们谈数据分析的层次。 包括报告APP应用、主题分析、预测分析、实时反馈和动态智能几个方面的内容。 可以作为以下两个大数据应用的高级别。
谈及大数据时，一个重要价值是快速响应分析并动态提供智能决策信息。 在数据量大、数据结构复杂之后，这个问题更难解决。 上述EDA和CEP的复杂事件处理需要在大数据的高级别上加以考虑。 虽然数据初始化过程不是实时的，但关键事件的增量信息可以基于EDA和消息技术提供准实时。 实时推送数据还不够，大量数据分析还很快，只有两者结合才能实现动态智能。
分析模式和分析技术的问题
在谈到大数据分析时，我们更加关注分析技术，包括分布式存储、mapreduce分布式计算和hive数据分析聚合。 但是在谈大数据时，分析模型比分析技术更重要，分析模型是面对不同业务场景和大数据问题时最困难的地方。
访问商场和网店时，该如何实时推送相关的目标营销信息？ 在监控电信运营网络时，如何根据收集到的数据实时诊断网络健康状况和警告？ 这里有各种分析模式，包括模式语言在内，包括各种规则引擎。 具体的分析模式引入了非结构化数据，因此考虑到实时性，分析模式会发生很大的变化。 我稍后会详细说明这一点，但我个人觉得这是大数据分析新的重点考虑内容。