首页 > 编程知识 正文

大数据分析与挖掘技术有哪些,大数据分析挖掘技术研究

时间:2023-05-05 06:45:24 阅读:257158 作者:1565

处理过程

大数据分析与挖掘的过程一般分为如下几个步骤:

任务目标的确定。进行应用的需求分析,明确目标,了解先验知识和最终目标。目标数据集的提取。根据目标抽取数据集,选择与目标最相关的属性子集。数据预处理。包括数据清洗、数据转换、数据集成、数据约减等操作。建立适当的分析与挖掘模型。包括统计分析、分类回归、聚类分析、异常检测等。模型的解释与评估。解释挖掘出的模型,可通过可视化找出用户需要的模型。知识的应用。将挖掘出的知识及确立的模型部署在应用中,并不断完善。 数据挖掘的功能

(1)对数据的统计分析与特征描述
统计分析与特征描述可对数据本质进行刻画。统计分析包括对数据分布、集中与发散程度的描述,主成分分析,相关性分析等。描述结果可用散点图、直方图等展现。

(2)关联规则挖掘和相关性分析
如买牛奶也会买面包,这些商品构成了关联规则;购买电脑一段时间后购买内存卡等,这称为频繁序列模式。

(3)分类与回归
分类是通过对一些已知类别标号的训练数据进行分析,找到一种可以描述和区分数据类别的模型,然后用这个模型来预测未知类别标号的数据所属的类别。分类模型有很多,如决策树、贝叶斯分类器、KNN分类器、组合分类算法等。回归则是对数值型的函数进行建模,常用于数值预测。

(4)聚类分析
聚类分析是对未知类别标号的数据进行直接处理。聚类的目标是使聚类内数据的相似性最大,聚类间数据的相似性最小。每一个聚类可以看成是一个类别,从中可以导出分类的规则。

(5)异常检测或者离群点分析
数据集中包含的一些数据与数据模型的总体特性不一致,称为离群点。离群点可以通过统计测试进行检测,如假定数据服从某一概率分布,看对象是否在分布范围内。也可以使用距离测量,将与任何聚类都相距很远的对象当作离群点。也可以用基于密度的算法来检测局部区域内的离群点。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。