首页 > 百科知识 正文

机器学习算法篇--回归--最小二乘法(多元线性回归算法学习笔记)

时间:2023-11-21 01:39:30 阅读:689 作者:心枷鎖

定义:

最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。

准备工作:

在理解最小二乘法之前,需要提前了解三个数学知识(假设数学已经还给生物老师的情况下)

  1. 三项式平方展开:(x y z)^2 可以看作是((x y) z)^2 就是把三项式转化为二项式

  2. 一次函数:在某一个变化过程中,设有两个变量x和y,如果可以写成y=kx b(k为一次项系数≠0,k≠0,b为常数,),那么我们就说y是x的一次函数,是一条直线,其中x是自变量,y是因变量 (又称函数)。

  3. 一元二次函数取最小值:y = ax^2 bx c 开口向上的情况下,要取最小值,就是取在对称轴处,x= - (b/2a)

推导过程:

假设我们有一组数据 [ [x1,y1] , [x2,y2] , [x3,y3]......[xn,yn] ] ,其中 x 代表程序员的数学能力,y 代表程序员的薪资

把这些点都放在坐标系中,并画出一条趋势线,如下图所示:

机器学习算法篇--回归--最小二乘法(多元线性回归算法学习笔记)-第1张

总结:

最小二乘法是非常重要的一个算法,后面学习到的深度学习,神经网络,决策树等等,都是基于它的,花时间搞清楚它的原理很有必要。

版权声明:该问答观点仅代表作者本人。如有侵犯您版权权利请告知 cpumjj@hotmail.com,我们将尽快删除相关内容。