对于一般的回归问题,我们想给出训练样本d={(x1,y1 ),x2,y2 ),xn,yn,yir,学习f ) x,尽量接近y。 w、b是应该确定的参数。 在该模型中,只有当f(x )和y完全相同时损耗才为零,但要支持向量回归,假设我们可以接受的f(x )和y之间存在最大偏差,并且只有当f(x )和y之差的绝对值大于时才损失在这种情况下,这相当于围绕f(x )构建宽2的分隔带,如果训练样本进入该分隔带(隔离带两侧的松弛程度可能不同)
因此,SVR问题可以变换为(下式的左部为正则化项) )。
l是损失函数
因此,引入松弛因子并改写第一个表达式时:
最后引入拉格朗日乘子,得到拉格朗日函数:
如果对4个扫描求偏导数,使偏导数为零,就可以得到
引入上式,就可以求出SVR的对偶问题
上面的流程必须满足KKT条件。 也就是说
最后,SVR的解是
但是b是