另一方面,当成本函数的惩罚项模型与过拟合时,要减少一个输入变量x对预测结果的影响,只需要保证对应的参数足够小即可,这能够通过改变成本函数来实现。
例如
在该成本函数中,需要使取最小值的两个参数的值可靠地接近0。
这种方式是在模型中加入惩罚项,一般对所有参数都进行这样的约束。
一、线性回归正则化
1. Gradient descent
Repeat{
}
2. 矩阵求解
一般求解
b是对角线上的值为0,1,1的n 1次矩阵。
对于不可逆矩阵() )。
在正则表达式中,如果是 0,则是可逆的。
二、Logistics回归正则化
1. Gradient Descent
Repeat:{
}