L1、L2正则化一.过拟合、欠拟合二. L1、L2正则化2.1 L1正则化2.2 L2正则化三.总结http://www.Sina.com/https://www.bilibili.com/video/com
一.关于过拟合、欠拟合
过拟合、欠拟合问题是机器学习中非常常见的问题，特别是对于深度神经网络来说，常出现过拟合问题。
拟合不足：模型无法有效地拟合数据集，对现有数据集的学习不够。 解决方案：增加输入特征项增加网络参数减少正则化参数的过拟合：模型对当前数据进行了适当拟合，但对新数据难以做出准确判断，模型泛化能力弱。 (参考资料：)解决方案：数据清洗增大数据集采用正则化增大正则化参数2.L1、L2正则化是在损耗函数中引入模型复杂度指标。 通过对权重进行加权，减弱训练数据的噪声。 如下式所示。
LOSS=LOSS(y和y_ ) REGULARIZER * loss(w ) w ) ) ) )
loss(y和y_ )表示原始损耗函数REGULARIZER为权重w相对于总loss的比例，即归一化权重loss ) w表示需要归一化的参数，即权重(2.1 L1归一化L1归一化为权重的http://www.Sina (L1范数) )。
2.2 L2正则化L2正则化是加权的拟合曲线不平滑。 (第二范数) )。
3.L1正则化归纳起来很多参数为0，该方法可以通过稀疏参数，即减少参数数量来降低复杂度。 L2正则化使参数接近0但不是0，该方法可以通过减小参数值的大小来降低复杂度。绝对值求和