说明:这是一个机器学习实战项目,附带数据+代码+文档+代码讲解。数据+代码+文档+代码讲解可直接拿到文章末尾。
1 .项目背景支持向量机可用于回归问题,即支持向量机回归,简称支持向量机回归(SVR )。 支持向量机(SVM )基于VC维理论和结构风险最小化原理,最初用于二分类问题的解决(支持向量机分类),然后推广到函数逼近问题的解决,即支持向量回归。 一般而言,内核技术可用于将输入的非线性样本集转换为高维空间以改善样本分离状况。 本项目采用svr算法进行建模预测。
2 .数据获取本次建模数据由网络(本项目作者整理),数据项统计如下:
数据的详细情况如下。 (部分展示) :
3 .数据预处理的实际数据可能含有大量的缺失值和噪声数据,或人工输入错误导致存在异常之处,对算法模型的训练非常不利。 数据清洗的结果,对各种污染的数据进行应对方式的处理,得到标准、清洁、连续的数据,用于数据统计、数据挖掘等。 数据预处理通常包括数据清洗、归纳、聚合、转换、采样等方式,数据预处理的质量决定着后续数据分析挖掘和建模工作的精度和泛化价值。 简要说明数据预处理工作中的主要预处理方法。
3.1 用Pandas工具查看数据
使用Pandas工具的head ()方法显示前五行中的数据。
从上图可以看到,总共有14个字段。 有13个变量,其中第一列是索引,在建模时删除。
键码:
3.2查看数据的形状
使用Pandas工具的shape属性显示数据集数量和字段数量。
从上图可以看出,共有14个变量,数据量为18249个数据。
键码:
3.3变量的空值情况判断
使用Pandas工具的isisnull ().sum )方法统计变量的null值,如下图所示:
在上图中,您可以看到数据字段没有空值。
重要代码如下:
3.4数据描述性统计分析
使用Pandas工具的describe ()方法进行数据描述性统计分析的结果如下图所示。
从上图中可以看到,数据项的平均值、标准偏差、最小值、最大值和分数。
重要代码如下:
>3.5数据摘要信息查看
通过Pandas工具的info()方法来进行查看数据摘要信息,结果如下图:
关键代码如下:
3.6删除数据项
删除掉Unnamed: 0数据项,关键代码如下:
3.7转换日期格式并排序
关键代码如下:
针对排序后的数据进行查看:
4.探索性数据分析4.1 随时间推移的Conventional Avocados的平均价格
用Matplotlib工具的scatter()方法进行统计绘图,图形化展示如下:
从上图中可以看到,类型为conventional的Avocados的平均价格在2016年11月左右和2017年10月左右价格比较高。
4.2 随时间推移的Organic Avocados的平均价格
从上图中可以看到,类型为Organic的Avocados的平均价格在2016年11月左右和2017年5月左右价格比较高。另外,通过4.1和4.2的图可以看到不同类型Avocados的平均价格,Organic类型的平均价格略高于conventional类型的平均价格。
4.3 按月画出每周的平均价格
从上图中可以看到,分2017年9月、10月中每周的平均价格最高。
4.4 查看样本集是否均衡
从上图中可以看到,数据均为338,数据较为均衡。
4.5 按地区进行价格展示
从上图中可以看到,HartfordSpringfield地区平均价格最高,Houston地区平均价格最低。
4.6 按类型进行价格展示
从上图可以看到organic类型的平均价格达到1.65,高于conventional类型的平均价格。
4.7 相关性分析
通过Pandas工具的corr()方法进行查看如下:
通过上图可以看到,数据项之间正直是正相关,负值为负相关;值越大相关性越强。
4.8绘制饼图
通过上图可以看到,2015年 SmallHass占比40.2% 占比最多;XLarge Bags占比0.1% 占比最少。
通过上图可以看到,2016年 SmallHass占比30.9% 占比最多;XLarge Bags占比0.4% 占比最少。
通过上图可以看到,2017年 SmallHass占比33.0% 占比最多;XLarge Bags占比0.5% 占比最少。
通过上图可以看到,2018年 SmallHass占比33.1% 占比最多;XLarge Bags占比0.5% 占比最少。
4.9查看数据预处理后的数据相关性
通过上图可以看到,数据预处理后的数据项相关性数值,正值为正相关,负值为负相关,数值越大相关性越强。
5.特征工程5.1 数据标准化
对Small Hass:XLarge Bags的数据项进行数据的标准化处理,关键代码如下:
标准化的数据,如下图所示:
5.2 建立特征数据和标签数据
AveragePrice为标签数据,除 AveragePrice之外的为特征数据。关键代码如下:
5.3 哑特征处理
由于type, region数据项为分类型变量,且为本文类型,不符合机器学习建模要求;针对type, region进行哑特征处理,转变为数值型,关键代码如下:
转变后的结果,如下图所示:
5.4 可视化与平均价格变量高度相关的变量
通过上图可以看出,随着Small Hass的增大,平均价格整体成下降趋势。
通过上图可以看出,随着Small Bags的增大,平均价格整体较为平稳。
通过上图可以看出,随着Large Bags的增大,平均价格整体较为平稳。
通过上图可以看出,organic类型相较于Conventional类型对平均价格影响较小。
5.5 数据集拆分
训练集拆分,分为训练集和验证集,70%训练集和30%验证集。关键代码如下:
6.构建SVR回归模型
主要使用svr算法,用于目标回归。
6.1模型参数
关键代码如下:
7.模型评估7.1评估指标及结果
评估指标主要包括分值、可解释方差值、均方误差、R方值等等。
从上表可以看出,分值0.82,svr回归模型良好。
关键代码如下:
7.2 真实值与预测值对比图
从上图可以看出真实值和预测值波动基本一致,模型拟合效果良好。
8.结论与展望综上所述,本文采用了svr回归模型,最终证明了我们提出的模型效果良好。可用于实际业务中建模预测。
本次机器学习项目实战所需的资料,项目资源如下:
项目说明:
链接:https://pan.baidu.com/s/13r3-mTcCRBfwWRtbpnFUpw
提取码:s2wn
网盘如果失效,可以添加博主微信:zy10178083