项目一：大数据时代大数据定义：
大数据(Big Data )或海量数据是指“相关数据量巨大，无法通过
目前，主要软件工具在合理的时间内完成获取、管理、处理、整理，帮助企业经营决策
为了积极目的的技术信息。 ”
大数据核心特征：
(1)数量多(Volume ) )。
(2)种类繁多(Variety ) )。
(3)速度快(速度快) (速度快) ) ) )。
(4)值幅度太大)值) ) )。
(5)真实性(Veracity ) )。
大数据体系架构：Hadoop来自于Apache基金会开发的分布式GFS (谷歌文件系统)论文。 从大数据方面到大数据平台体系结构、大数据处理基础架构等。
Hadoop的核心技术是将传统的单点连接转变为分布式存储(HDFS )； 将独立计算转换为分布式数据库(HBase、Hive等)。
总的来说，大数据的核心技术分为数据采集、蜀统计分析和数据可视化。
(1)数据采集
每天产生的各种数据(如移动互联网和社交网络)在表面上意义不大。 此外，无论是结构化的、分类的还是有用的数据集成都是有意义的。 这意味着数据将通过爬虫工具、ETL工具等获取，并在数据集市中进行清洗，然后进行集成分析。 访问数据收集包招募型加粗样式数据库和访问APP应用程序等。
(2)数据预处理
数据预处理是对收集到的数据进行主要处理方法，包括数据整理、数据整合、数据转换和数据重用，大大提高了数据挖掘模型的质量，降低了现实性
(3)数据存储
因为大量的数据保存在一台机器上，所以明显不适用于机器。 因此，数据存储涉及分布式文件系统和分布式
(4)数据清洗
数据清洗是指过滤不符合要求的数据。 错误的数据或重复的数据。 通常使用Mapl进行统计分析。
(5)数据统计分析
使用Hive统计分析清洗后的数据。 Hive工作的核心是将SQL语句翻译成MapReduce程序，可以将结构化数据映射到数据库表，并提供hql(hiveSQL )查询功能。
(6)数据可视化
数据可视化是指将结构或非结构数据转换为相应的可视化图表，并将数据中隐藏的信息直接展现在人们面前。
http://www.Sina.com/http://www.Sina.com /
大数据访问包括实时数据访问、文档数据访问和屏幕数据访问。 典型代表不
大数据技术分类：
天空数据保存技术有HDFS、HBase、Hive、S3、Mongo等结构化数据保存表
(1)大数据接入技术
大数据分析挖掘技术包括数据的分离识别、机器学习等。 典型的代表是MapR Mahout等。
(2)大数据存储技术
大数据共享交换技术包括数据访问、导出等。 代表性的有Kafka、ActiveM
(3)大数据分析挖掘技术
大数据展示技术包括图文展示和图形开达图、k线图、箱线图、热力图、关系图、甲型代儿Beknln
大数据库： (4)大数据共享交换技术
所谓行存储体，是以1行记录单位存储的
(5)大数据展现技术
列存储相对于传统关系数据库的原始存储。 列存储作为列数据集合被存储，列存储可以想象为将行存储旋转了90度的存储方式处于大数据处理软件中。 Hadoop的HBase采用列存储。
(1)行存储
文档存储不需要定义表的结构，可以使存储方式多样化，并适合非结构化数据的存储。
(2)列存储
键值(Key — Value，KV )存储组织、索引和存储为键值对。 键值存储提供基于键值对的访问。 可以创建或删除键值对，并可以更新与密钥相关联的值。 密钥值的存储适用于数据关系、业务关系无关的数据，同时可以有效减少磁盘的读写次数。 例如，谷歌分布式数据库技术产品Bigtable数据库采用KV存储方式。
有人印象中，大数据与云计算、物联网大数据、云计算的关系，在技术上是硬币的正反两面，也就是密不可分的。 大数据具有数据量大、安全性要求高等特点，一台计算机无法处理时，必须采用分布式体系结构进行存储、计算、处理； 要对大量数据进行分布式数据挖掘，需要依赖表示计算的分布式处理、分布式数据库
和云存储、虚拟化技术等才能实现。◇ 大数据的应用：(1)大数据典型应用—kdcs/strong>
华尔街“德温特资本市场”公司首席执行官保罗。优秀的黑猫每天会通过大数据分析全球数亿条微博惠户的审言。进而判断民众情端,并对其打分棒序。服据打分结果,优秀的黑猫再澳定买入还是抛出数百万美元的股果、优秀的黑猫的判断原则是如果所有人都高兴,那就买人:如果大家的焦虑情结上开,非就抛售、由此当年第一季度,公词获得了7% 的收益率。
(2)大数据典型应用亚马逊
大家都非常熟悉的跨国电子商务公司重马进,它的各个业务环节都离不开“数据驱动”。不仅从每个用户的购买行为中获得信息,还将用户在其网站上的所有行为都记录下来,包括用户海览页面的停图时间、是否查看评论、搜索的关键词、浏览的商品等,进而推送更加精准信息,微发用户的消费欲望。
(3)大数据典型应用—城管通
城管通,又称数字城管系统,是一种城管执法人员用来执法的高科技移动执法系统。该系统运用 GIs 地理信息采集、 GPs 卫星定位等技术,配合 PDA 移动信息终端, LED 显示屏等硬件设备,将城市中所有的井盏、路灯杆、公交站牌、城市雕塑等设定难一的数字编码,备注其权属部门、负责维修部门等信息一并录入电脑数据库,利用大数据处理分析群众投诉事件,通常将处理事件分为七个步骤,即事件发起、派单,接单、到达现场、处置、结论、评估,更快、更好提高了城市管理的水平和能力,达到了真正的城市管理数字化、信息化。现已在江苏、内蒙古等全国多地投入使用。
(4)大数据典型应用一智能公交站牌
智能公交站牌是一项基于大数据技术的城市公共交通智能化研究项目,主要估翻下一班公交车离该站台的位置、车上乘客数、拥挤程度、到达时间等信息,使市民合理安排候车时间、及时调整出行路线、提高出行速率。日前己在北京、上海、哈尔滨等全国多个城市使用。
(5)大数据典型应用金融分析
目前,由“互联网金融”催生的大量的金融或类金融机构,为产业转型起到了一定的助推作用,为更好地获得最大利润,各大金融机构纷纷脑洞大开。阿里公司针对淘宝网上中小企业的交易状况筛选出财务健康和诚信经营的企业,并对其提供无担保贷款。日前,阿里公司已放贷款高达千亿元,坏账率仅为0.3%
(6)大数据典型应用一一医疗决策
随着我国医疗体系改革的不断深入,医疗卫生的信息化建设进程也在不断加快,医疗数据的类型趋向多样化,规模庞大、海量数据、非结构化数据已对传统医疗体系提出了挑战。医疗大数据正彰显出强大的潜在价值,医生借助大数据技术分析得到的结果,进行有针对性的治疗与排查,将在临床操作、临床决策支持系统、医疗数据透明度、远程病人监控以及对病人档案的分析等方面得到广泛应用,既减轻了医务科研工作者的大量烦琐工作,又开阔了医务工作者的分析思路与治疗方案。