大数据时代这个词提出已经有10年了。越来越多的企业完成了大数据平台的建设。随着移动互联网和物联网的爆发，大数据的价值在越来越多的场景中被挖掘。随着大家都在使用欧冠大数据，建设大数据平台的门槛越来越低。凭借开源的力量，任何有基础研发的组织；d能力可以搭建自己的大数据平台。但是，对大数据平台、数据仓库、数据挖掘等概念没有理解的同学，可能还是无法顺利完成建设，因为去百度查的时候，会发现东西太多，架构太多，不知道怎么选择。今天就和大家分享一下大数据平台是怎么玩的。
架构总览
通常大数据平台的架构如上，从外部数据采集到数据处理、数据展示、应用等模块。
数据采集
用户访问我们的产品会产生大量的行为日志，所以我们需要一个特定的日志收集系统来收集和传输这些日志。水槽是目前常用的开源选项。Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志收集、聚合和传输系统。Flume支持定制日志系统中的各种数据发送器来收集数据。同时，Flume提供了简单处理数据并将其写入各种数据接收者的能力。
对于非实时使用的数据，可以通过Flume直接将文件下载到集群的HDFS。对于要实时使用的数据，可以使用Flume Kafka，数据直接进入消息队列，然后通过Kafka传递给实时计算引擎进行处理。
业务数据库的数据量远小于访问日志的数据量。对于非实时数据，通常定期将其导入HDFS/蜂巢。一个常用的工具是Sqoop，这是一个在Hadoop和关系数据库之间传输数据的工具。Sqoop可以从关系数据库(如MySQL、Oracle、Postgres等)导入数据。)导入到Hadoop的HDFS，还将来自HDFS的数据导入到关系数据库中。对于实时数据库同步，Canal可以作为中间件处理数据库日志(如binlog)，计算后实时同步到大数据平台的数据存储中。
数据存储
无论上层使用什么样的大规模数据计算引擎，下层的数据存储系统基本都是基于HDFS的。HDFS (Hadoop分布式文件系统)是Hadoop项目的核心子项目，也是分布式计算中数据存储管理的基础。它具有高容错性、高可靠性和高吞吐量的特点。HDFS一个接一个地存储文本，当我们进行分析和统计时，结构化将是方便和必要的。因此，在HDFS的基础上，将使用Hive将数据文件映射成结构化的表结构，以便于后续类似SQL的数据查询和管理。
00-1010数据处理就是我们常说的ETL。在这一部分，我们需要三样东西：计算引擎、调度系统和元数据管理。
对于大规模非实时数据计算，目前使用的是Hive和spark引擎。Hive是基于MapReduce的架构，稳定可靠，但计算速度较慢。Spark基于基于内存的计算，一般认为比MapReduce快很多，但对内存性能要求较高，存在内存溢出的风险。Spark还与hive数据源兼容。从稳定性的角度来看，一般建议使用Hive作为日常ETL的主要计算引擎，尤其是对于一些实时性要求不高的数据。火花等发动机根据现场情况使用。
目前，实时计算引擎已经经历了风暴、星火流和Flink三代。Flink被阿里收购了，大厂一直在推，社区活动很好，国内有很多资源。
在调度系统上，建议采用轻量级的Azkaban，这是Linkedin开放的批处理工作流任务调度器。
通常，我们需要自己开发一个元数据管理系统，使用
来规划数据仓库和ETL流程中的元数据。元数据分为业务元数据和技术元数据。业务元数据，主要用于支撑数据服务平台Web UI上面的各种业务条件选项，比如，常用的有如下一些：移动设备机型、品牌、运营商、网络、价格范围、设备物理特性、应用名称等。这些元数据，有些来自于基础数据部门提供的标准库，比如品牌、价格范围等，可以从对应的数据表中同步或直接读取；而有些具有时间含义的元数据，需要每天通过ETL处理生成，比如应用信息。为支撑应用计算使用，被存储在MySQL数据库中；而对于填充页面上对应的条件选择的数据，则使用Redis存储，每天/月会根据MySQL中的数据进行加工处理，生成易于快速查询的键值对类数据，存储到Redis中。技术元数据，主要包括数据仓库中的模型说明、血缘关系、变更记录、需求来源、模型字段信息等，详细的可以查看数据分析师应该了解的数据仓库(3)数据流转
通过上面一张图了解数据采集，数据处理，到数据展现的数据流转。通常我们在实际工作中，从数据源到分析报告或系统应用的过程中，主要包括数据采集同步、数据仓库存储、ETL、统计分析、写入上层应用数据库进行指标展示。这是最基础的一条线，现在还有基于数据仓库进行的数据分析挖掘工作，会基于机器学习和深度学习对已有模型数据进一步挖掘分析，形成更深层的数据应用产品。
数据应用
俗话说的好，“酒香也怕巷子深”。数据应用前面我们做了那么多工作为了什么，对于企业来说，我们做的每一件事情都需要体现出价值，而此时的数据应用就是大数据的价值体现。数据应用包括辅助经营分析的一些报表指标，商城上基于用户画像的个性化推送，还有各种数据分析报告等等。
好的数据应用一定要借助可视化显现，比如很多传统企业买的帆软。开源界推荐一款可视化工具Superset，可视化种类很多，支持数据源也不少，使用方便。最近数砖收购的redash，也为了自己能一统大数据处理平台。可以看出可视化对于企业数据价值体现是很重要的。
结尾
通过本文，可以对大数据平台处理做初步了解，知道包含哪些技术栈，数据怎么流转，想要真正从0到1搭建起自己的大数据平台，还是不够的。了解了流程，你还需要真正的上手搭建Hadoop集群，Spark集群，数据仓库建设，数据分析流程规范化等等都需要很多工作。
作者：数据社 大数据实践的那些事，专注MPP数据库研究、流处理计算、数据仓库架构和数据分析