文章目录1.1大数据时代1.2大数据概念1.3大数据影响1.4大数据应用1.5大数据关键技术1.6大数据计算模型1.7大数据产业1.8与云计算、物联网关系
1.1大数据时代
根据IBM前首席执行官害羞羽毛的看法，IT领域每15年将迎来一次重大变革
据Gartner发布的《2019年全球首席信息官议程调查报告》，企业IT发展分为IT工匠时代、IT工业化时代、IT数字化时代三个阶段，目前已进入数字化时代。
1.2大数据概念
数据量大
根据IDC的估算，数据每年以50%的速度增长，也就是说每两年增长一倍(大数据摩尔定律)。
人类近两年产生的数据量相当于迄今为止产生的全部数据量
预计到2020年，全球数据总量将达到35ZB，比2010年增长近30倍
数据种类很多
大数据由结构化数据和非结构化数据构成
结构化数据的10%，存储在数据库中
90 %的非结构化数据与人类信息密切相关
科学研究
基因组
LHC加速器
地球和空间勘探
企业APP应用
电子邮件、文档和文件
APP应用程序日志
交易记录
Web 1.0数据
文本
映像
视频
Web 2.0数据
微信微博
单击查询/流程日志
推特/博客/SNS
维客
处理速度快
从数据生成到消耗，时间窗口非常小，可用于生成决策的时间非常少
1秒定律：这一点也与传统的数据挖掘技术有本质的不同
价值密度低，商业价值高
例如，观看视频时，在连续无中断监视期间，可能有用的数据只有1秒或2秒，但具有很高的业务价值
1.3受大数据影响的图灵奖获得者、著名数据库专家Jim Gray博士观察并总结了人类的历史，在科学研究方面经历了实验、理论、计算和数据4个范式
在思维方式上，大数据完全颠覆了传统思维方式：
所有样本，而不是采样
效率而非准确性
相关而不是因果关系
在社会发展方面，大数据决策逐渐成为新的决策方式，大数据的应用有力促进了信息技术与各行业的深度融合，大数据的开发大大推动了新技术和新应用的不断出现
大数据在就业市场的兴起使数据科学家成为热门职业
在人才培养方面，大数据的兴起将深刻改变我国高校信息技术专业现有的教育和科研体制
1.4大数据应用大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业已融入大数据印迹
1.5大数据关键技术大数据技术的不同层次及其功能
两项主要技术
1.6大数据计算模式大数据计算模式及其代表产品
1.7大数据产业大数据产业是指与大数据支撑的组织管理和价值发现相关的所有企业经济活动的集合
1.8大数据与云计算、物联网关系云计算、大数据与物联网代表了IT领域最新的技术发展趋势，三者相辅相成、联系有别
云计算通过网络提供可扩展、廉价的分布式计算能力，用户只要位于可以访问网络的位置，就可以随时随地获得所需的IT资源
云计算的关键技术包括虚拟化、分布式存储、分布式计算和多租户
云计算数据中心是一套复杂的设备，包括刀片式服务器、宽带网络连接、环境控制设备、监控设备和各种安全设备
数据中心是云计算的重要载体，为云计算提供多种硬件资源，包括计算、存储和带宽，为不同的平台和APP应用程序提供运营支撑环境
在全国各地推进数据中心建设
云计算产业作为战略性新兴产业，近年来发展迅速，形成了成熟的产业链格局。 产业包括硬件和设备制造、基础设施运营、软件和解决方案供应商、基础设施即服务(IaaS )、平台即服务(service )、终端设备、云安全、云安全
物联网是指物与物相连的互联网，是互联网的延伸。 采用局域网、互联网等通信技术以新的方式将传感器、控制器、设备、人与物等联系起来，形成人与物、物与物与物的联系，实现信息化和远程管理控制
物联网中的关键技术包括识别与感知技术(二维码、RFID、传感器等)、网络与通信技术、数据挖掘与融合技术等
物联网已广泛应用于智能交通、智能医疗、智能家居、环保监测、智能安防、智能物流、智能电网、智慧农业、智能工业等领域，对国民经济和社会发展起着重要推动作用
完整的物联网产业链主要包括核心传感设备提供商、感知层末端设备提供商、网络提供商、软件和行业解决方案提供商、系统集成商、运营和服务提供商等六个环节
云计算、大数据、物联网代表了IT领域最新的技术发展趋势，与三者之间存在着差异和联系
>小结
• 本章介绍了大数据技术的发展历程，并指出信息科技的不断进步为大数据时代提供了技术支撑，数据产生方式的变革促成了大数据时代的来临
• 大数据具有数据量大、数据类型繁多、处理速度快、价值密度低等特点，统称“4V”。大数据对科学研究、思维方式、社会发展、就业市场和人才培养等方面，都产生了重要的影响，深刻理解大数据的这些影响，有助于我们更好把握学习和应用大数据的方向
• 大数据在金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都得到了日益广泛的应用，深刻地改变着我们的社会生产和日常生活
• 大数据并非单一的数据或技术，而是数据和大数据技术的综合体。大数据技术主要包括数据采集、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容
• 大数据产业包括IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层和数据应用层，在不同层面，都已经形成了一批引领市场的技术和企业
• 本章最后介绍了云计算和物联网的概念和关键技术，并阐述了大数据、云计算和物联网三者之间的区别与联系