首页 > 编程知识 正文

查询网络大数据的平台,大数据平台部署方案

时间:2023-05-04 23:21:00 阅读:53220 作者:1422

在“大数据”一词出现之前,这些日常数据的处理和分析经常使用关系数据库,如SQL server、MySQL和Oracle。 传统的这些数据库处理t级数据量是有限的,基本上不可能面对这样的p级和e级数据量。

到2005年,提供大数据基础能力的Hadoop项目应运而生,并从技术层面快速可靠地分析非结构化和复杂数据,使其成为现实的技术平台。 从那时起,大数据成为了网络信息技术中高频的热词。

2 .大数据是什么,大数据有什么特点

不管我们是不是大数据专家,在这个信息时代,我们都必须了解一些大数据的概念。 到店家,到国家都在说大数据,但真正理解大数据是什么的人并不多。

关于大数据的概念,我引用世界知名咨询公司麦肯锡的说明:

大数据是什么?

麦肯锡的定义:“在获取、存储、管理和分析方面是一个规模大大超出传统数据库软件工具能力范围的数据集,具有4V的特点。”

什么是4V?

卷的庞大规模

贝洛城的快速发展

Variety的多种类型

Value低密度价值

二.如何制定企业大数据战略

战略是我们工作的指导,一定要有正确的战略,才能在战术上实行。 如果战略错了,所有战术都等于0。 这里总结了大数据的六大战略。

1 .决策战略

首先,要了解企业是民营企业、国有企业、上市公司、规模有多大、有多少员工、大数据是锦上添花,还是已经具体发挥了其价值等企业背景情况。 在确定公司是否有大数据项目的目的以及投资了多少时,必须明确考虑这些问题

2 .时机战略

企业何时投入大数据建设

3 .人力资源战略

4 .遴选战略

是自建IDC数据中心,还是私有云,还是选择阿里巴巴云“腾讯云”等共享云平台

5 .平台战略

是选择是构建平台还是实现APP应用程序。

一个原则:离钱越近,越要快;

6 .管理战略

数据是否可播放的问题:如何收集数据、如何存储数据、如何应用数据、数据安全、用户隐私安全问题的保障

3 .企业如何进行大数据平台建设

无论是从帮助企业营销,还是从提高效率,从节约企业成本的角度来看,大数据都有非常大的价值,可以做大数据,使企业的业务实现跨越式增长。 要实现大数据的价值,大数据真正为企业做贡献,首先要积累大数据,收集日常业务和用户行为数据。 如上所述,一些数据是可再生资源,但更多的是不可再生资源,因此有必要管理数据资产,建立负责数据收集、规则、计算、存储、应用、展示等的数据平台。

1 .大数据平台由三个平台和一个服务组成

)1)工具平台,或

-运输

平台

 

 

 

  -数据采集平台

 

 

 

  (2)大数据仓库基础平台

 

 

 

  (3)大数据门户,又包括

 

 

 

  -大数据分析平台

 

 

 

  -产品应用平台

 

 

 

  (4)服务

 

 

 

  运维平台主要负责大数据平台的业务调度、任务监控、元数据管理、权限管理等等,主要由图中所示的系统组成的;二个是数据采集平台,主要负责把数据采集到大数据仓库平台当中,企业这种大数据来源,主要从三个方面去获取数据,从业务系统、日志采集系统、外部数据来源采集,每一个方面的来源又包含几个途径,如图所示;

 

 

 

  大数据基础平台,传统的也叫大数据仓库平台,这部分是整个大数据平台的核心;

 

 

 

  下面是大数据门户,是集成数据成果一体化的平台,包括大数据分析平台,和大数据应用平台;大数据门户,作为整个大数据的窗口,所有的数据研究成果,都会展现在这个数据门户当中,这样就极大的方便了公司职能人员使用数据;

 

 

 

  用户服务:使用数据的人主要包括管理人员、分析人员、运营人员、产品经理、技术工程师还有企业投资的相关方,或公司对外的数据服务,我们是通过API接口体现出来;

 

 

 

  2.如何构建大数据基础平台

 

 

 

  大数据基础平台,是整个大数据平台的核心,是企业大数据加工、计算、存储的场所,原本非常凌乱的各种各样来源的数据,进入基础平台之后,都会按照一定的标准,一定的规范化进行存储,处理起来,大数据基础平台有三个核心技术点,第一个是主题模型,第二个是层次模型,第三个是计算模型,下面会给大家一些简单的介绍;

 

 

 

  (1)主题模型

 

 

 

  主体模型详细附件图表

 

 

 

  主体模型设计的注意事项:

 

 

 

  大主题可以有若干的子主题构成

 

 

 

  主题之间不要有交叉,相同特征的要放在同一个主题当中;

 

 

 

  主体要充分的覆盖,能够覆盖到企业所有的业务,能够支持所有的应用和分析的需求

 

 

 

  (a)具备完整性

 

 

 

  (b)主体的独立性

 

 

 

  (c)具备层次性

 

 

 

  (2)层次模型

 

 

 

  层次模型通常由4个层次组成,如下图:

 

 

 

  (a)ODL层(操作数据层)

 

 

 

  功能是存放从业务系统之间抽取过来的数据,数据从数据结构,从数据这种逻辑关系上面,都与业务系统基本上是保持一致的,这里实现了透视字段一些固化的处理,像会员注册,注册时间,还有一些少量的基本的数据清洗,比如脏数据的一些过滤,维度的一些处理等等,最终生成了这种增量的数据

 

 

 

  (b)BDL层(基础数据层)

 

 

 

  该层的主要功能,是基于主题域的划分来完成数据整合的,提供统一的数据的基础平台,在这个层级当中,我们会完成数据的清洗、定义的分类等等的一些功能;

 

 

 

  (c)IDL层(接口数据层)

 

 

 

  面向应用的,统一的应用接口访问平台,客户统一视图都在这一层级实现,该层级的重点就在于实现跨主题域的这种数据的关联计算;在实践当中,会涉及两类模型,一类是为了获取数据更容易,我们会制造一些反规范化的主题模型,我们常常看到的这种宽表模型,另一类就是为了我们实现快速的查询,分析而建立起来的这种比较规范式的多维分析模型,它是由多个维表进行组成的;

 

 

 

  (d)ADL层(应用数据层)

 

 

 

  提供差异化的数据服务,以满足业务方的需求,这一层级我们可以实现一些报表,数据挖掘、产品应用等等需求;

 

 

 

  在传统的数据库时代,ADL层主要在RAC(ORACLE真正应用集群)中实现的,在大数据时代里,我们通常会用hbase这一层的数据的存储;

 

 

 

  我们在工作中,为了降低维度大数据平台的负责度,我们通常把4层压缩到3层,我们通常把ODL层和BDL层进行合并,原来分别在这两层当中实现的一些事情,我们合并到一层里面去实现;如下图所示:

 

 

 

  3.如何构建大数据门户

 

 

 

  企业大数据门户,是企业应用的集成一体化的平台,大数据门户,作为企业服务的窗口,除了数据研究成果外,都会展现在大数据门户中,从而极大的方便了我们企业个只能人员使用、利用这个数据;

 

 

 

  企业大数据门户包含:

 

 

 

  主要由精准营销、个性化推荐等等

 

 

 

  负责业务数据的可视化展现,智能报表,临时取数的分析,还有多维数据分析的一些模型,比如用户画像、业务关键指标监控,还有数据挖掘模型的一些监控等等。

面对国内众多的云平台,个人和企业该如何选择呢?可以参考这篇文档:【云服务器推荐】2021年腾讯云、阿里云、华为云服务器价格和配置评测

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。