1 SVR背景2 SVR原理3 SVR数学模型SVR的背景
SVR被提出为SVM的分支，用一张图介绍SVR和SVM的关系
其中，两虚线间几何间隔r=dwFRAC{d}{||}wd，这里的d是两虚线间的函数间隔。
(读取函数间隔和几何间隔的图) ) ) ) )。
这里的r是根据两平行线间的距离公式求出的
SVR原理
SVR与一般线性回归的区别
SVR一般线性回归1 .数据在间隔带内不计算损耗，只有在f(x )和y之差的绝对值大于(epsilon )时才计算损耗。 f ) x )与y不相等时计算损失。 通过最大化间隔带的宽度和最小化总损失来优化模型。 通过求出坡度下降后的平均值来优化模型
原理： SVR在线性函数两侧形成间隔带(epsilon (又称容差，是人工设置的经验值) )，不对落入间隔带的所有样本计算损失。 也就是说，只有支持向量影响函数模型，最终通过使总损失和最大化间隔最小化来获得优化的模型。
注：这里介绍支持向量的含义。 直观地说，支持向量是有助于最终w，b计算的样本(a0 )
如下图所示，“管道”中的样本对应于a=0，并且是非支持向量；
管壁上的是边界支持向量0aepsilon
位于“管道”外的是非边界支持向量，a(Epsilon )；检测到异常时，总是从非边界支持向量中选择异常点) )。
SVR的数学模型3.1线性硬间隔SVR
3.2线性软件间隔SVR
原因：在现实任务中，往往很难直接确定合适的(epsilon )，使大部分数据在间隔波段内，但SVR希望所有训练数据都在间隔波段内，所以加入松弛变量) Xi，实现函数间隔也就是说，防止一些样本落在间隔频带之内。
在引入松弛变量后，此时所有样本数据都满足条件：
这就是缓和变量反映后的制约条件，因此也称为-------软间隔SVR
注：对于任意样品xi，如果其位于隔离带内侧或边缘，则(Xi均为0； 在隔离带上 0、=0(Xi0，)xi^*=0 0、=0
隔离带下面有0
, ξ = 0 xi^*>0,xi=0 ξ∗>0,ξ=0参数推导：
拉格朗日乘子法（可将约束条件变成无约束的的等式方程）
设 u i ⩾ 0 , u i ∗ ⩾ 0 , a i ⩾ 0 , a i ∗ ⩾ 0 u_igeqslant0,u^*_igeqslant0,a_igeqslant0,a^*_igeqslant0 ui⩾0,ui∗⩾0,ai⩾0,ai∗⩾0为拉格朗日系数
构建拉格朗日函数：
3.3非线性（映射，核函数）
启发：提高维度，低维映射到高维（非线性变线性）
之前的SVR低维数据模型是以内积xi*xj的形式出现:
现定义一个低维到高维的映射 Φ varPhi Φ： 来替代以前的内积形式:
表示映射到高维特征空间之后的内积
映射到高维的问题:
2维可以映射到5维
但当低维是1000映射到超级高的维度时计算机特征的内积
这个时候从低维到高维运算量会爆炸性增长
由于特征空间维数可能很高，甚至是无穷维，因为直接计算 Φ ( x i ) T Φ ( x j ) varPhi(x_i)^TvarPhi(x_j) Φ(xi)TΦ(xj) 通常是困难的，这里就要设计到核函数
结果表明：核函数在低维计算的结果与映射到高维之后内积的结果是一样的
主要改变：非线性转化，主要通过改变内积空间替换成另外一个核函数空间而从而转化到另外一个线性空间
核函数的隆重出场：核函数是对向量内积空间的一个扩展，使得非线性回归的问题，在经过核函数的转换后可以变成一个近似线性回归的问题
代更。。。。。。。