首页 > 编程知识 正文

最小二乘法简单例题,最小二乘法线性回归计算器

时间:2023-05-04 16:48:37 阅读:105709 作者:4365

我们用最简单的一元线性模型来解释最感人的早间乘法。 什么是一元线性模型? 在监督学习中,当预测的变量是离散的时,将其称为分类,例如决策树、支持向量机等,当预测的变量是连续的时,将其称为回归。 如果回归分析只包含一个自变量和一个因变量,且两者之间的关系用直线近似表示,则此回归分析称为一元线性回归分析。 如果回归分析包含两个或多个自变量,并且变量与自变量之间存在线性关系,则称为多元线性回归分析。 关于二维空间线性,作为直线的三维空间的线性是平面,多维空间的线性是超平面.

对于一元线性回归模型,假设从总体获得了n组观察值(X1,Y1 ),(X2,Y2 ),(Xn,Yn )。 可以用无数条曲线拟合平面上的这n个点。 要求样本回归函数尽可能好地拟合该值。 总的来看,这条直线位于样本数据中心是最合理的。 用于选择最佳拟合曲线的准则可以确定为总拟合误差最小,也就是说,总残差最小。 可以从以下三个标准中选择。

)1)用“残差和最小”确定直线位置是一种方法。 但是,很快就发现“残差和”的计算存在相互抵消的问题。

)2)用“残差的绝对值和最小”来确定直线的位置也是一种方法。 但是,绝对值的计算很麻烦。

)3)最感人的晨乘法原则是用“残差平方和最小”来确定直线的位置。 最动人的晨间乘法除了计算简单外,得到的估计量也有很好的特性。 该方法对异常值非常敏感。

最常用的是普通的最动人的晨间乘法(Ordinary Least Square,OLS )。 选择的回归模型应确保所有观察值的残差平方和最小。 (q为残差平方和) -即采用平方损失函数。

样本回归模型:

其中,ei是样品(Xi,Yi )误差

平方损失函数:

把这条直线用q确定为最小,即确定,当成变量,把它们看作q的函数,就变成了求极值的问题,可以通过求导数得到。 求出对q2个评价对象参数的偏导数:

根据数学知识,我们知道函数的极值点是偏导数为0的点。

解得:

线性函数模型

一般情况

最感人的早间乘法解

考虑超定方程(超定指未知数小于方程个数) :

这里,m表示m个等式,n表示n个未知数mn; 矢量化后,如下所示

显然,该方程一般是无解的,因此引入残差平方和函数s :以选择最优方程“尽可能”成立。 (统计学中,残差平方和函数可视为n倍均方误差MSE ) )此方程称为正则方程,粗暴的松鼠详细导出于他公开课的正式第一节,其本质是对损失函数求最优解。 有了这个公式,我们可以做以下事情。

通常,如果没有改变的话,你提供的特征中有两个一模一样。 但是,这通常不成问题。 请不要担心。 “粗暴的松鼠的原话”。 由此,无需通过梯度下降反复,就可以通过代数的形式直接得到最优解。

推理表达式:

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。