接下来因为添加正则项的时候没有考虑θ0，所以单独把它写出来：
【注意】这个正则项添加本来是λ θ2 ，因为梯度下降的更新θ的式子都是求导之后的，因此得到下面的：
下面将这个式子整理一下以便于理解：
对于这个式子的理解：
分为两部分，前面粉色框框的部分其实是对θ做了个缩小，几乎就是0.99的缩小（也不一定），后面这一项跟没有正则化之前是一样的。
所以说，当进行正则化线性回归时，每次迭代时，把参数缩小一点，然后做和之前一样的更新操作
梯度下降只是进行拟合线性回归时的一种算法。另一种算法是正规方程。
二、正规方程进行线性回归时加入正则项 （1）没有正则化时求解θ：【注】θ求解是： 对于每个θ求解偏导，然后让其等于0，求得的θ值。
（2）加入正则化后求解
正则化还可以使得XTX可逆。（加上λ[]后一定是可逆的）