首页 > 编程知识 正文

如何搭建大数据平台,大数据平台建设工作方案

时间:2023-05-05 17:01:06 阅读:53182 作者:1523

数字化转型近年来已成为集团公司和大型企业寻求业务突破的重要手段,金融业建设银行、招商银行、平安保险等各行各业成功案例不在少数。 另外,还有百丽鞋业等生动的例子。 国外的典型案例是亚马逊和特斯拉。

集团的客户动向非常大,首先要制定咨询计划,要跟上投入和管理的结合。 然后,可以开始平台建设,最终开始应用,为各业务线和产品线贡献力量。

从技术角度看,完整的大数据平台通常建设三期。 请先看下图。 蓝色的部分是第一期的内容,绿色的部分是第二期的内容,橙色的部分是第三期的内容。

首先,建设大数据基础平台。 最满意的是数据聚合、数据存储和数据计算这三项功能,也是最核心的功能。 主要内容包括数据仓库构建、数据提取(ETL )、作业调度、数据服务以及支持大节点和集群的监控运维管理功能等。 当然,也应该包括用户、权限、数量统计等基础功能。 基于目标数据量和SQL复杂度(如多表JOIN )规划采购内容,功能完善、系统稳定、性能高、价格合理是技术产品选型的核心考虑。 从这两年和长远来看也要考虑国产化和信创。

第二步,基于大数据基础平台建设数据管理等功能。 目标是预处理聚集的海量数据(通常是异构数据),进而进行数据治理和数据管理。 两者的区别请参照CMMI的DMM。 主要内容包括元数据管理、数据资产管理、数据质量管理、数据标准管理以及数据的全生命周期管理和必不可少的数据安全等。 这里需要研究的是,平台的公司往往有抽象的归纳能力,做底层的通用能力部分,但这部分往往需要与行业APP应用进行协同,一些行业端的供应商也有上层的行业端定制能力但是,通用能力的设计和保障,特别是到了10亿条(TB级)以上数据量的分布式计算(JOIN等),仍然需要硬核心产品,这自然是双方合作的契合点。

第三步,拓展大数据平台创新应用。 主要内容包括人工智能(包括机器学习和深度学习)、知识地图)、地图数据库)、流计算和消息队列等。 当然人工智能和图表数据库本身也是硬核技术,也是平台。 这取决于所属公司的产品定位和路线。 从数据智能的角度看,数据仓库是基础,人工智能和知识地图都是应用。 基于数据仓库的优秀计算能力,挖掘数据之间的隐藏数据关系。 比如,金融无标签洗钱场景,挖掘公安行业犯罪组织多层关系网。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。