首页 > 编程知识 正文

大数据管理与应用学什么,大数据基础知识综述

时间:2023-05-05 06:45:34 阅读:56088 作者:778

一、大数据技术

1、尝试数据生成方式经验的几个阶段。

运营系统阶段:在此阶段,数据生成方法是被动的,只有在发生实际的企业业务时才会生成新记录并存储在数据库中。

用户原创内容阶段:互联网真正的数据爆炸。 强调自助服务,大量互联网用户本身就是内容的生成者,数据量开始急剧增长。

感知系统阶段:原因:物联网的发展,物联网的一些传感设备,时时刻刻产生大量的数据,物联网的自动数据生成方式,在短时间内产生更密集、更大量的数据,使人类社会迅速发展

2、尝试大数据的四个基本特征。

数据量大:数据以自然的方式增加,其发生不以人的意志为转移。 各种数据发生速度快,发生数量多,远远超出了人类可控的范围。

数据种类繁多:大数据种类丰富,包括结构化数据和非结构化数据。

处理速度快:大数据时代的数据生成速度非常快。

低价值密度:价值密度远远低于传统关系数据库中的现有数据。 很多宝贵的信息分散在大量的数据中。

3、考验大数据对思维方式的重要影响。

思想的三个变化:不是采样,而是效率,不准确,不是因果,而是相关性

1 )全样本而不是抽样)以往,由于数据存储和处理能力的限制,科学分析通常采用抽样的方法,通过分析样本数据来估计全集成数据的整体特征。 目前有大数据技术的支持,科学分析可以直接适应全集数据,而且可以在短时间内快速得到分析结果,速度快。

2 )不准确、高效)传统采样分析方法中误差有所放大,但为了保证误差在全集数据中放大后仍能达到可接受的范围,必须确保采样分析结果的准确性。 其次,实现算法的高效化。 目前,大数据时代采用全样本分析而不是采样分析,不存在误差放大的问题。 数据分析的效率是关注的核心。

3 )相关性而非因果关系(过去、数据分析的目的、说明事物背后的发展机制、预测未来可能发生的事情,都反映出一种“因果关系”。 在大数据时代,人们开始追求“相关性”而不是“因果性”。

4、举例说明大数据的具体应用

制造业:利用工业大数据提高制造业水平。 例如产品故障诊断和预测下降、工艺流程分析、生产工艺改进、生产工艺能耗优化、工业供应链分析和优化等

金融:大数据在高频交易、社会情感分析、信用风险分析三大金融创新领域发挥重要作用

汽车:利用大数据和物联网技术实现无人驾驶汽车

互联网:利用大数据技术,分析客户行为,进行商品推荐和针对性广告投放

餐饮:利用大数据实现餐饮o2o模式,彻底改变传统餐饮经营方式

电信:利用大数据技术实现客户离网分析,及时把握客户离网趋势,制定客户留住措施

能源:利用大数据技术分析用户用电模式,改善电网运行,合理设计电力需求响应系统,确保电网运行安全

物流:利用大数据优化物流网络,提高物流效率,降低物流成本

城市管理:利用大数据实现智能交通、环保监测、城市规划和智能安全

生物医学:大数据预测大爆发、智能医疗、健康管理、DNA解读等

体育与娱乐:通过大数据训练团队,预测比赛结果,分析拍摄什么题材的电影作品

安全领域:政府利用大数据技术构建强大的国家安全体系,企业利用大数据抵御网络攻击,警方利用大数据预防犯罪

个人生活:通过大数据分析个人生活行为习惯,提供更周到的个性化服务

以大数据关键技术为例

数据采集与预处理:利用ETL工具将分布在异构数据源中的数据提取到临时中间层,然后进行清洗、转换、集成,最后加载到数据仓库或数据集市,成为在线分析处理、数据挖掘的基础; 利用日志采集工具将实时采集的数据作为流量计算系统的失败者,进行实时处理分析

数据存储和管理—利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等来存储和管理结构化、半结构化和非结构化的海量数据

数据处理与分析:利用分布式并行编程模型和计算框架,将机器学习与数据挖掘算法相结合,实现海量数据的处理与分析; 可视化表达分析结果,有助于人们更好地理解数据,分析数据

数据安全和隐私保护:在从大数据中挖掘潜在巨大业务价值和学术价值的同时,构建数据安全体系和隐私数据保护体系,有效保护数据安全和隐私

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。