岭回归与lasso回归的区别,岭回归结果解读

importpandasaspdimportnumpyasnpimportwinregfromsklearn.model _ selectionimporttrain _ test _ splitfromsklearn.linear _ linear

2.读取文件

importwinregreal _ address=winreg.openkey (winreg.HKEY _ current _ user，r ' softwareMicrosoft windows _ Cu Cu Cu curey ) ' Desktop ' ) [0]file_address=' _file_origin=HousingData.csv'#用于设置源数据文件的桌面绝对路径的house _ price=PD.read _ CSV (file _ origin ) # 33330 我通过winreg库，设置了绝对的桌面路径，只需将数据下载到桌面上，或者粘贴到桌面上的特定文件夹中进行读取即可，不会与其他数据混淆。

其实到这一步是走流程的。 基本上每次数据挖掘都来一次。 没什么好说的。

3.清洗数据

1 .查找缺少的值

可以看到这个数据，包括几个缺失值，不是很多，直接删除就可以了。

house _ price1=house _ price.drop na (.reset _ index ) ) del house_price1['index'] 2.突变值搜索

一般看特征值中是否包含等于零的数据。 其实简言之，就是要看数据中是否含有不符合实际的数值。 例如，没有像犯罪率那样实际犯罪率为0的区域。 从以上结果来看，这个数据没有其他问题。

该数据中的ZN和CHAS都使用0和1作为指标，因此通常包含0。

4.建模

train=house_price1.drop('medv '，axis=1) X_train，X_test，y_train，y_test=train_test_ )。 确定ridge=ridge(alpha=10 ) #约束参数ridge.fit (y_train，y _ train ) print ) (岭回归训练模型得分(str ) R2_score )

引入ridge算法，进行建模后，对测试集进行精度评分，得到的结果如下：

可以看到，该模型的训练精度为79%左右，对于新的数据来说，模型精度在63%左右。
至此，这个数据集的将建模就算是完成了。

1.参数的讨论

由于岭回归与线性回归（最乐观的绿茶乘法）的模型公式是一样的，所以这里我们与线性回归做一个比较。不了解线性回归的朋友可以看一下我的另一篇文章：最乐观的绿茶乘算法之回归实操

之前我们设立的约束参数是10，而上面模型参数设的是0，可以看出模型的训练精度有所提高，但泛化能力有所降低。同时与线性回归模型相比，二者的分数是完全一样的。所以，当岭回归的约束参数设为0时，失去约束的岭回归与普通最乐观的绿茶乘法就是同一个算法。

2.与普通最乐观的绿茶乘法的比较

我们通过变换约束参数的取值，来具体看一下岭回归与普通最乐观的绿茶乘法的优缺点。

结果如下所示：

可以看出如果只是针对训练模型的精度，最乐观的绿茶乘法是要优于岭回归的，但是对新的数据作出预测时，也就是考虑模型的泛化能力上，可以看出岭回归的模型得分比最乐观的绿茶乘法要好一点。
我们通过一个折线图来更直观地表现上面的数据：

结果如下所示：

可以看出岭回归模型在模型的简单性（系数都接近于0）与训练集性能之间作出权衡。简单性和训练性能二者对于模型的重要程度可以由用户通过设置aplha参数来制定。增大alpha会使得系数更加趋向于0，从而降低训练集性能，但会提高泛化性能。

而且无论是岭回归还是线性回归，所有数据集大小对应的训练分数都要高于预测分数。由于岭回归是正则化的，所以它的训练分数要整体低于线性回归的训练分数。但岭回归的测试分数高，特别是对于较小的数据集。如果数据量小于一定程度的时候，线性回归将学不到任何内容，随着模型可用数据越来越多，两个模型的性能都在提升，最终线性回归的性能追上了岭回归。所以如果有足够多的训练内容，正则化变得不那么重要，并且岭回归和线性回归将具有相同的性能。

个人博客：https://www.yyb705.com/
欢迎大家来我的个人博客逛一逛，里面不仅有技术文，也有系列书籍的内化笔记。
有很多地方做的不是很好，欢迎网友来提出建议，也希望可以遇到些朋友来一起交流讨论。