What——大数据数据仓库
什么是大数据？
* * *广义的大数据是指现有软件工具无法提取、保存、检索、共享、分析、处理的庞大复杂的数据集合。 业界通常用4个v，即Volume、Variety、Value、Velocity来概括大数据的特征——
一个是数据卷巨大(Volume )。
二是数据种类繁多。 以往，相对于容易保存的以文本为中心的结构化数据，非结构化数据越来越多，网络日志、语音、视频、图像、地理位置信息等这些多种数据对数据的处理能力提出了更高的要求。
三是价值密度低。 以视频为例，一个小时的视频，在连续被监控中，有用的数据可能只有1~2秒。 通过强大的机械算法，更快地完成数据的价值“纯化”，成为当前大数据背景下亟待解决的课题。
四是处理速度快。 这是大数据区别于传统数据挖掘的最明显的特征。
什么是数据仓库？
数据仓库概念的创始人W.H.Inmon在《建立数据仓库》年定义了一组面向主题、集成、相对稳定、随时间变化的数据，以支持经营管理中的决策过程。 数据仓库的目的是建立以分析为导向的统一数据环境，为企业提供决策支持。
大数据数据仓库
现在，大部分情况下，狭义的大数据是指处理大数据的新技术、新工具，如分布式计算、分布式存储等。 数据仓库是为企业提供决策支持的战略集合，大数据是技术，是工具。
Why——为何要建设好数据仓库
大数据的运用，是金融快速发展的基础。 良好的数据仓库体系结构有助于快速实施这些APP，从而优化资源的利用。唯品金融在建设之初就明确知道了有效利用大数据的重要性。 大数据的应用在整个金融用户生命周期内为——
在信贷前期，通过对所有客户的分析和算法模型的计算，分析哪些客户对金融产品的需求更高，重点投入广告资源和营销资源；
在风控考核阶段，需要防止不符合要求的客户通过考核，根据大数据建立信用评估模型、欺诈模型来控制风险；
在营销阶段，需要识别高价值用户，利用大数据根据用户的浏览和购买行为，对用户进行图像描绘，在运营广告的位置投放针对性的运营信息，促进用户的开通和使用；
在放贷后的管理阶段，根据顾客的购买行为和还款行为，提前预测还款风险状况，尽早沟通，确保坏账始终维持在较低水平。
How——如何做好数据仓库分层
在现代数据仓库建设中，分层理论得到了广泛的应用。 其价值包括但不限于易于管理数据、明确数据结构、便于跟踪数据血缘、减少重复开发、简化复杂问题、隐藏原始数据异常等。
仅有商品金融的数据仓库分为以下3层——基层、中间层和APP应用层
1、基础层(DW ) )。
底层也称为DW层，是数据源中最接近数据的层。 数据源中的数据经过提取、转换、加载，也就是ETL，加载到DW层。 本层数据大多按业务系统分类，能够与业务系统迅速对应。
但是，这一级数据与业务原始数据不完全相同。 在将源数据加载到这个级别时，要进行一定的清洗(例如清除明显偏离正常级别的信息)、清除重量、清除污垢、业务提取、统一单位、抢占现场)，例如分析前端系统的工作
2、中间层(DM )是数据仓库的核心
从DW层得到的数据，按主题构筑各种各样的数据模型。 中间层建设的原则如下——
* * *中性、共享：中间层的主题应该足够抽象，不是为特定的APP设计的；
* * *灵活性和可扩展性：在业务发生变化时易于扩展，能够应对复杂的实际业务情况。
* * *稳定性高：可以长期保持稳定性，
满足下游集市、分析、挖掘等的使用；* 规范，易读：分主题进行模型设计，易于让使用人员理解和使用。
3、应用层(ST)，这一层提供数据产品使用的结果数据
在这里，主要提供给数据产品和数据分析使用的数据，当然也有将集市层单独划分一个层次的设计，集市下面才是应用。我们之所以把集市划为应用，是因为集市与应用结合得非常密切，所有的预处理数据在DM层已处理好，集市层直接运用结果计算数据即可。
最终的应用一般会存放在redis、mysql等系统中，供线上系统使用，也可能会存在Hive或者hbase中，供数据分析和数据挖掘使用。 我们经常说的报表数据，一般放在这里。
总结
在互联网金融大数据建设中，数据分层建设是一个重要环节，它决定的不仅是一个层次的问题，还直接影响到后续血缘分析、特征自动生成、元数据管理等一系列建设。层级划分精简，减少了数据处理流程，弱化了传统数据仓库数据模型设计的规范限制。能够快速构建大数据生产系统、响应业务分析需求、迭代大数据分析能力、适应互联网公司业务发展节奏。但在建设之初，一定要把架构搭好，并做好数据源管理，且充分了解行业发展。
本文分享了笔者对唯品金融数据仓库的设计思路，未必适合所有行业公司。但方法是灵活的，理念是共通的，欢迎感兴趣的朋友，分享心得，交流经验。
原文地址：https://zhuanlan.zhihu.com/p/45123018