首页 > 编程知识 正文

大数据概述总结,大数据概述讲座心得3000

时间:2023-05-06 06:18:09 阅读:158288 作者:16

大数据什么是大数据?

在高速发展的信息时代,新一轮科技革命和变革加速推进,技术创新越来越成为重塑经济发展模式和促进经济增长的重要推动力,而“大数据”无疑是核心推动力。

那么,“大数据”是什么呢? 从字面上看,大数据是指庞大的数据。 那么,你可能会问,有多少级别的数据被称为大数据呢? 不同组织、不同学者的理解不同,非常难以定量界定,大数据的测量单位只能说是在TB水平之上发展到PB、EB、ZB、YB甚至BB进行测量。

最早提出“大数据”概念的是世界知名咨询公司麦肯锡,他对大数据定义如下。 在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的大数据集,具有海量数据规模、高速数据流、多种数据类型、价值密度四大特点。

研究机构Gartner这样定义了大数据。 “大数据”需要新的处理模式,具备更强的决策力、洞察力和流优化能力,以应对海量、高增长率和各种信息资产。

从技术上看,大数据的战略意义不在于掌握海量的数据,而在于将包含这些意义的数据专业化。 换句话说,如果把大数据比作产业,那么这个产业盈利的关键就是提高对数据的“加工能力”,通过“加工”实现数据的“增值”。

大数据有什么特征?

一般认为,大数据主要具有四个方面的典型特征:海量(Volume )、多样化(高速)、价值(所谓“4V”)。 以下,使用具体的图1进行说明。

其次,简单介绍图1的4V的特征。 具体情况如下。

1Volume(大量)

大数据的特点首先是数据规模大。 随着互联网、物联网、移动互联技术的发展,可以记录人与事物的一切轨迹,数据呈爆炸式增长。 数据相关测量单位的换算关系如表1所示。

表1单位换算关系

http://www.Sina.com/http://www.Sina.com/byte1byte=8bit kb1 kb=1024 by tem B1 MB=1024 kbgb 1gb=1024 mbt B1 TB=1024 mbt B1

数据源的广泛性决定了数据格式的多样性。 大数据可分为三类,一类是结构化数据,如财务系统数据、信息管理系统数据、医疗系统数据等,其特点是数据之间因果关系密切; 2 (动态图像、图像、声音等非结构化数据特征在于,数据间没有因果关系; 三是HTML文档、邮件、网页等半结构化数据,其特点是数据因果关系弱。 据统计,目前结构化数据占整个互联网数据量的75%以上,产生价值的大数据往往就是这些非结构化数据。

单位

数据增长速度和处理速度是大数据高速性的重要体现。 与传统的报纸、信件等数据载体的生产传播方式不同,在大数据时代,大数据的交换和传播主要通过互联网、云计算等方式实现,其生产和传播的速度非常快。 此外,大数据还需要响应速度来处理数据,包括需要在几秒钟内分析数以亿计的数据。 输入、处理和处置数据应立即生效,且几乎没有延迟。

换算公式

大数据的核心特征是价值,但实际上价值密度的高低与数据总量的大小成反比。 这意味着数据价值密度越高,数据总量越小;数据价值密度越低,数据总量越大。 对有价值信息的提取依赖海量的基础数据,当然当前大数据的背景还存在一些尚未解决的问题,如何通过强大的机器算法在海量数据中更快地提炼出数据的价值。

大数据应用场景在电商端的精准广告是对用户的扫码行为、点击行为等进行大数据采集和分析,挖掘用户二楼、三楼偏好,拓展生产。

媒体方对你进行细分,通过对对方中人机型的大数据分析,结合对应算法,交互推荐对方中喜欢的

金融领域理财投资通过对个人信用评估、风险承受能力评估,聚集了众多理财产品、推荐响应投资理财产品。

交通方面目前,交通大数据应用主要在两个方面:一方面,对车流量等海量数据手机进行估计,预测该路段一定时间内的车流量状况,为用户提供扫描,合理进行道路规划; 另一方面,可以利用大数据实现红绿灯调度,提高既有线路的通行能力

电信方面的智慧营业厅根据用户现有的行为习惯、喜好、休息日相应的数据变化,调整自身的业务结构,做到按需分配

大数据业务分析步骤

2Variety(多样)

3Velocity(高速)

例如市场调查:在进行数据分析时,需要了解用户的想法和需求,但很难通过这三种方法得到这样的数据,可以尝试使用市场调查的方法收集用户的想法和需求数据。

4Value(价值)

p>

数据处理是数据分析的基础。通过数据处理,将收集到的原始数据转换为可以分析的形式,并且保证数据的一致性和有效性。

(4)数据分析

数据分析是指用适当的分析方法及工具,对处理过的数据进行分析,提取有价值的信息,形成有效结论的过程。由于数据分析多是通过软件来完成的,这就要求数据分析师不仅要掌握各种数据分析方法,还要熟悉数据分析软件的操作。

(5)数据展现

一般情况下,数据是通过表格和图形的方式来呈现的,我们常说用图表说话就是这个意思。常用的数据图表包括饼图、柱形图、条形图、折线图、散点图、雷达图等,当然可以对这些图表进一步整理加工,使之变为我们所需要的图形,例如金字塔图、矩阵图、漏斗图等。

(6)报告撰写

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。