首页 > 编程知识 正文

参数的最小二乘估计公式推导,最小二乘法参数估计

时间:2023-05-04 05:07:11 阅读:140288 作者:2576

已知变量x和y是线性关系(其中XY都是nx1的列向量),为了知道x和y有什么样的线性关系(也就是解x的系数),如果这是一个工程问题,我们解决这个问题的方法是对x和y进行采样根据线性理论,系数矩阵是nxn方阵,当秩为n时,方程具有唯一解,也就是说,如果方程数大于未知数数,则方程无法求解。 此时,只能求出一个近似解。 根据目的不同,得到的近似解也不同。 为了使方程左右两边误差的平方和最小,得到的近似解是最自由的纤细平方解。 “平方”是“平方”的意思,最自由的纤细乘是最小平方和。 这个问题的证明是在研究生的矩阵分析导入数学课上学的,但现在也忘记了,只记得结论式。

总之我记得原理。 对于某个超稳态方程AX=Y,求x。

解:设x可能的解为z,将z代入x得到Y1=AZ,建立目标函数J=e^T * e。 其中e=(Y - Y1 )一定有使j最小的z。 这个z是x最自由的苗条型乘方解。

e^T * e是y的误差的平方和,j所能取的最小值解是最自由的苗条乘解,求x的过程是j的一阶导为0。 这是胡说八道。 严密的解决方法如下。

例如,假设变量y是n个变量xi的线性组合,求出系数。

将方程式设定为AX=y,即

为了计算系数a1、a2、an的值,至少需要n次x、y的采样值。 示例:

这样可以求出系数a1、a2、an的值。 采样样本不仅有n个,有n个以上也没关系。 方程式无法求解,但可以求出最自由的苗条型乘解。

将方程式写成矩阵后,如下所示。

XA=Y (式2 )

由此,求出所有系数ai

---------后记

另外翻一下电子版的教科书,贴上最自由的苗条骑行的证明过程:

证明过程见第《矩阵分析引论》页。 证明过程需要子空间的概念,这个概念的定义在第6页。

最后简单整理证明过程。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。