接上一篇https://blog.csdn.net/qq_29508953/article/details/86494190
为什么要加正则项 不是满轶会导致线性回归无穷多解问题，而加入正则项可以解决该问题。加入正则项可以对模型参数有一定的约束，模型参数空间变小，简化了模型，减小了过拟合风险。加入正则项后的线性回归推导(还是基于最小二乘法)这里加入的是L2正则项，当然正则项还有L1和L0
线性回归的目标从
变为
按照上一篇https://blog.csdn.net/qq_29508953/article/details/86494190中定义的,,,。上式可以写为
对求导得：
令上式为0,得
令，因为，且，所以
必定可逆。
这样就解决了不是满轶会导致线性回归无穷多解的问题。