大数据
第一章
一三次信息化浪潮
信息化浪潮掀起时间标志解决问题
第一次波1980年前后的电脑信息处理
第二次波1995年前后的网络信息传输
第三波2010年前后物联网、云计算、大数据信息爆炸
2、信息技术为大数据时代提供技术支持(大数据到来的原因)？
1 .存储容量增加，价格下降
2.CPU处理能力大幅提高
3 .增加网络带宽
3、数据生成方式的变革，是推动大数据时代到来的重要因素(数据生成方式经验阶段)。
运营系统阶段——企业
用户原始内容阶段——用户自己
感知系统阶段——物联网发展，大量传感器
4、大数据发展历程
第一阶段：萌芽期，20世纪90年代至21世纪初
第二阶段：成熟期，21世纪前十年
第三阶段：大规模应用期，2010年以后
5、大数据概念(4V )进货的量大 泪就多，就算处理的速度快，价值也低
数据量大，数据种类多，处理速度快，价值密度低
数据量大种类多
处理速度快，价值密度低
6、数据存储单位之间的换算关系(1字节=8bit，1 KB=1024 MB ) )。
比特、字节、KB、MB、GB、TB、PB (大数据)、EB、ZB
世界上总共有35ZB的数据
企业，银行数据为关类型数据，（官的）
视频、微信、手机呼叫信息等是非结构化数据
7、大数据对科研的影响
第一范式：实验科学
第二范式：理论科学
第三范式：计算科学
第四范式：数据密集型科学
大数据的影响是4个范例
实验理论的前两个计算数据密集完成
8、大数据对思维的认识
所有样品而不是样品
2 .效率而不是准确性
3 .相关而不是因果关系
样品非采样效率不准确
相关的非因果思维对数据
大数据关键技术
数据收集和预处理
存储和管理数据
数据处理和分析
数据安全和隐私保护
9、大数据计算模式
批处理，流计算
计算查询分析图
批处理计算、MapReduce、Spark
流量计算
图表计算
查询分析计算，Hive
10、云计算
云计算通过网络提供可扩展、廉价的分布式计算能力，用户只要位于可以访问网络的位置，就可以随时随地获得所需的IT资源
云计算服务模式
• IaaS，基础设施即服务
• PaaS，平台即服务
• SaaS，软件即服务
云计算包括公共云、私有云和混合云
十一、关键技术
虚拟化
分布式存储
分布式计算
多租户
云计算概念
互联网具有很好的伸缩性
分布式计算能力
只需要网上资源
服务模式有三种
基础软件IPS
关键技术有四种
分布式虚拟化
存储计算多租户
云的计算内容背完
12、物联网
感知层、网络层、处理层、APP应用层(了解) )
关键技术
认识和感知技术
网络和通信技术
数据挖掘与融合技术
物联网万物联
关键技术有三点
识别网络通信
数据挖掘融合完成
13、大数据与云计算、物联网的关系
物联网是大数据的重要来源，大数据技术支持物联网数据分析
云计算为大数据提供技术支持，大数据为云计算提供有用的位置
云计算为物联网提供了大量的数据存储能力，物联网为云计算技术提供了广阔的应用空间
如果要谈三方的关系，那就谈谈吧
雾是大树的源头，大树是事物的支撑点
云为大树撑腰，大树让云有家
云有连接雾的能力，雾有白云有空间
第二章
1、Hadoop
Hadoop是Apache的开源分布式计算平台
核心是分布式文件系统HDFS和MapReduce
HDFS是谷歌文件系统GFS的开源实现
MapReduce是针对谷歌地图的开源实现
2、特性
高可靠性、高效性、高可扩展性、
容错，在Linux平台上运行，支持多种编程语言
读乐谱，做新奇的事
开源分布式计算平台
核心分发文件2人
hfs首先
迈瑞把背完全丢了
特性有点混乱
四点钟高一半
高可靠性和效率
高展示成本和低成本
在泪牛平台上
支持多种编程语言
Hadoop版本最新3.x
2.x与1.0完全不同的全新框架