大数据的基本概要
一.大数据的基本概念
1、大数据(Big Data )是一组在一定时间内无法被普通软件工具捕获、管理、处理的数据集合,具有强大的决策边缘、洞察发现力、过程优化能力,是一种具有海量、高增长率、多种信息资产的新型处理方式
2、主要解决:海量数据存储与海数据分析计算问题。
二、大数据特征(4v )。
1、Volume (大量)截至目前,人类生产的所有印刷材料数据量为200PB,而历史上全人类所说的数据量约为5EB。 目前,一般的个人计算机硬盘容量都在TB级,一些大企业的数据量已经接近EB级。
2、Velocity (高速)这是大数据区别于传统数据挖掘的最明显特征。 根据IDC《数字宇宙》的报告,到2020年全球数据使用量预计将达到35. 2ZB。 在如此海量的数据面前,处理数据的效率是企业的生命。
3、Variety (多样性)根据这种类型的多样性,数据也分为结构化数据和非结构化数据。 传统上,对于以易于存储的数据库文本为中心的结构化数据,网络日志、音频、视频、图像、地理位置信息等非结构化数据越来越多,这几种类型的数据对数据的处理能力提出了更高的要求。
4、Value (低价值密度)价值密度高低与数据总量大小成反比。 如何快速“纯化”有价值的数据,已成为当前大数据背景下亟待解决的课题。
三、大数据应用场景:
1、物流仓储:大数据分析系统帮助商家精细化运营,提高销量,节约成本。
2、分析零售:用户的消费习惯,为用户购买商品提供便利,提高商品销量。
3、旅游:深度结合大数据能力和旅游行业需求,建设旅游产业智慧管理、智慧服务和智慧营销的未来。
4、商品广告推荐:向用户推荐可能喜欢的商品
5、保险:进行海量数据挖掘和风险预测,帮助保险业精准营销,提高定价能力。
6、金融:多维度展现用户特征,帮助金融机构推荐优质客户,防范诈骗风险。
7、房地产:大数据全面助力房地产行业,构建精准投资策略和营销,选择更合适的土地,建设更合适的楼宇,卖给更合适的人。
8、人工智能
四.大数据业务流程
五.大数据部门的组织结构