首页 > 编程知识 正文

数据挖掘智能分析软件,大数据挖掘技术原理

时间:2023-05-04 17:03:39 阅读:142321 作者:3029

目录

一.应用

二.原因

三.数据挖掘

1、什么是数据挖掘

2、数据挖掘过程

3、数据挖掘任务分类

4、多学科融合

5、大数据发展历程

6、应用实例

一、应用1、内容推荐(微信朋友圈广告、短视频) ) )。

2、自动驾驶(百度起步早) )

3、人脸识别(无人销售) )。

4、资源调度(规划路线、热点图) )。

二、原因1、计算机、互联网的发展

2、将传统纸张数据转换为电子数据

3、数据量快速增长带来的若干问题

)1)数据过剩,难以消化

)2)数据真伪难以辨别

)3)难以确保数据的安全性

)4)数据格式不一致,难以统一处理

4、随着数据库技术的快速发展,通过发现数据中存在的关系和规则,根据已有数据预测未来的1发展趋势。

三、数据挖掘1、数据挖掘是从大量、不完整、有噪、模糊、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

将数据分析方法与处理大量数据的复杂算法相结合

广义:数据挖掘是从大量数据中挖掘有趣的模式和知识的过程。

相关名词:数据库知识发现(KDD )、知识提取、数据/模式分析、数据考古学

2、数据挖掘的过程数据挖掘是一个迭代的人机交互过程。 这个过程经过多个步骤,很多决策都由用户提供。

数据预处理(耗时最久)、数据挖掘和结果的解释评估(三部分)

3、数据挖掘任务分类描述性挖掘任务:刻画数据的一般特性(聚类、相关)

预测性挖掘任务:对当前数据进行估计,进行预测(分类、回归或预测)

4、多学科融合

数据挖掘是多学科交叉的产物。

(1)数据量大)从GP到PB,算法是可伸缩的,要求不能将数据存入内存) )。

)2)维数较高)数百、数千个属性的数据,维数即特征数增加,计算复杂度迅速提高) )。

)3)类复杂)数据挖掘与传统相比,需要适应不同领域不同类型的数据) )。

数据科学的数据驱动方法强调从数据中直接发现模式和关系,特别是从大量数据中,通常不需要广泛的领域知识,成功案例为——深度学习。

数据产生方式的变革促成大数据时代的来临。

5、大数据发展历程

关键技术:分布式存储,分布式处理

相关工具:RapidMiner、SAS Data Mining、Matlab等

http://www.Sina.com/http://www.Sina.com /

6、应用实例

(1)谷歌基于检索词条的数学模型分析来判断传染源位置(相关度达97%)

(2)Netflix根据用户喜好和操作分析制作 《纸牌屋》 电影

(3)Farecast预测当前机票价格

(4)UPS根据车辆上的传感器进行路线规划以及车辆信息回传

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。