首页 > 编程知识 正文

大数据部署平台架构图,大数据技术架构包括哪些

时间:2023-05-06 02:42:17 阅读:53226 作者:3182

大数据平台整合互联网使用和大数据产品,开通实时数据和离线数据,使数据实现更大规模的关联计算,挖掘数据更大的价值,然后实现数据驱动事务包括哪些方面?

1、办公使用:

其实是指数据收集。 你用什么方法收集的数据? 互联网收集数据比较简单,可以通过网页、APP收集数据。 例如,很多银行现在都有自己的APP。

在更深层次上,还可以收集用户的行为数据,并可以剪切出许多维进行详细分析。 但是,在涉及在线的行业中,数据收集需要利用各种各样的办公体系来进行。

2、数据整合:

实际上,ETL是指用户从数据源中检索所需的数据,经过数据清洗,最终根据预定义的数据仓库模型,将数据加载到数据仓库中。 这里的Kettle只是ETL之一。

3、数据存储:

数据仓库的建设,简单地说可以划分为事务数据层(DW )、指标层、维度层、聚合层(DWA )。

4、数据共享层:

表示在数据仓库和事务系统之间提供数据共享服务。 web服务和Web API表示数据之间的联系方式。 另外,还有其他联系方式可以根据自己的情况决定。

5、数据分析层:

分析函数比较简单易懂,是k均值分析、聚类、RMF模型等各种数学函数。

6、数据显示:

结果如何出现,其实是数据的可视化。 这里推荐敏捷BI。 与传统的BI不同,它可以通过简单的拖动来完成报告,学习成本较低。

7、数据访问:

这很简单。 看看用什么方法显示这些数据。 由于图中是B/S体系结构,所以最终的可视化结果可以通过浏览器访问。

企业基于大数据平台建设的需求,对专业人才的需求度也在增加,拥有过硬技术实力的大数据人才将得到更高水平的青睐。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。