用最简单的一元线性模型说明最小二乘法。 什么是一元线性模型？ 在监督学习中，当预测的变量离散时，这被称为分类，并且当预测的变量连续时(例如决策树、支持向量机等)，这被称为回归。 在回归分析中，如果只包含一个自变量和一个原因变量，并且两者之间的关系由线性近似表示，则此回归分析称为线性回归分析。 如果回归分析包含两个或多个参数，并且变量和参数之间存在线性关系，则称为多元线性回归分析。 关于二维空间的直线性是直线，关于三维空间的线性是平面，关于多维空间的线性是超平面…
假设针对一元线性回归模型，从总体上获取了n组观察值(X1、Y1 )、(X2、Y2 )、…、(Xn、Yn )。 对于平面上的这n个点，可以使用无数条曲线进行拟合。 要求样本回归函数尽可能很好地适合这个值。 综合来看，该直线位于样本数据中心是最合理的。 选择最佳拟合曲线的标准可以确定总拟合误差，即，使总残差最小。 您可以从以下三个标准中选择：
)1)用“残差和最小”确定直线位置是一种方法。 但是，很快发现“残差和”的计算中存在相互抵消的问题。 )2)用“残差的绝对值和最小”来确定直线的位置也是一种方法。 但是，绝对值的计算很麻烦。 (3)最小二乘法的原则是“残差平方和最小”确定直线位置。 最小二乘法除了计算容易外，所得估计量也有很好的特性。 该方法对异常值非常敏感。 最常用的是普通的最小二乘法(Ordinary Least Square，OLS )。 选定的回归模型必须使所有观察值的残差平方和最小。 (q为残差平方和) -即采用平方损失函数。
样本回归模型：
其中，ei是样本(Xi、Yi )的误差
平方损失函数：
用q将该直线确定为最小，即确定，认为变量并将它们视为q的函数，则成为求极值的问题，可以通过求导数得到。 求出对q2个评价对象参数的偏导数，使偏导数为零：
理解：