1，支持向量机概念简介
分类是数据挖掘领域非常重要的任务之一，其目的是学习分类函数或分类模型(或称为分类器)，支持向量机本身是一种监控性学习方法，广泛用于统计分类和回归分析。
支持向量机(Support Vector Machine，SVM )是90年代中期发展起来的一种基于统计学习理论的机器学习方法，通过求最小结构化风险来提高学习机泛化能力，实现经验风险和置信范围的最小化，即使统计样本量很少也很好支持向量机(SVM )简单来说就是一个分类器，是两种分类器。 Vector :通俗地说就是点或数据。 Machine :即classifier，即分类器。
SVM需要解决的问题：
(1)找到决策边界，确定最佳决策边界
)对难以分类的特征数据进行分类)内核函数转换)。
)3)计算复杂度
2，支持向量机算法推导
2.1决策边界
选择距离雷区最远的边界线(雷区是边界上的点，设为Large Margin )。 范围越大，分类效果越好，算法泛化能力越强。
2.2距离的计算
平面表示边界，w是平面的法线向量。 计算点x到平面的距离，x’和x’’是平面上的点，可以将垂线的长度转换为xx’在法向量方向上的投影，以消除x’。
2.3定义数据标签
数据集： (X1，Y1 ) ) X2，Y2 )…(xn，Yn )； x为样品，y为标签，n为样品数(注意： y为样品类别： x为正例，Y0时Y= 1为负例，Y0时Y=-1 ) )
决策方程：
2.4优化目标
简化点到直线的距离(去除绝对值，y的绝对值为1 ) :
优化目标：找到线(w和b )，使其成为离该线最近(min )的点最远(max )。
简并变换：对于决定方程式(w，b )，通过简并(等倍率放大或缩小)将其结果值|Y|=1)
以前总是认为比0大，现在变得有点严格了。 在上述约束下，目标函数只需考虑以下公式。
将求解极大值问题转换为极小值问题(为了便于导出计算而导入1/2 ) :
此外，w必须满足以下约束：
2.5目标函数的求解
2.5.1拉格朗日乘子法
约束优化问题包括：
本机转换：
代入目标函数：
2.6用SVM求解
对w和b分别求偏导，分别得到两个条件(根据对偶性质，KKT ) :
对w求偏导：
关于b寻求偏导：
带入原创：
继续求出极大值：
将极大值转换为求出极小值的值：
其中约束条件为：3，SVM求解实例
数据： 3分，其中正例x1 (3，3 )，x2 ) 4，3 )，负例x3 ) 1，1 )。
解决方案：
约束条件：
将上式代入数据：
因为：
可以简化：
对1和2分别求出偏导数，偏导数为0时得到。
(2不满足约束条件((I=0)，因此解必须位于边界上((1=0或(2=0) )。
将结果带入解决：
平面方程式如下。
该图像显示如下
(I=0时，样本点xi不影响决策边界的构成。 也就是说，边界上的样本点((I不是0，而是支持向量) )构成最终结果。
支持向量：实际工作的数据点、值不为0的点(除非支持向量发生变化，否则采样点的数量对最终结果多少没有影响。4,，软间隔
软间隔(soft-margin ) :数据中可能存在噪声点，考虑到从它们获得的决策边界，不太好。 过去的方法要求将两种要点完全分开，但这个要求有点太严格了。 我们引进了平稳的航空解决了上述问题。
平静的航空表现：
新目标函数：
其中，c是必须指定的参数。 如果c接近大(需要小而平稳的航空) :意味着分类严格不能有错误c接近小时，就意味着可以接受更大的错误。
软间隔算法求解：5，低维不可分问题
5.1核变换：低维时不可分离，可以找到高维映射它的变换方法。
5.2低维不可分割问题范例
假设有两个数据x=(x1、x2、x3 )。 y=(y1、y2、y3 )，在这种情况下，难以在三维空间中进行直线分割. 通过对特征执行一系列组合操作将原始数据映射到9维空间(f(x )=) x1x1、x1x2、x1x3、x2x1、x2x3、x3x1、x3x2、x3x3) )。 因为需要计算内积，所以新数据位于9维空间中，需要计算f ) ) x )
例如，假设x=(1、2、3 )、y=(4、5、6 )，则f ) x ) x=(1、2、3、4、6、9 )、f ) y )=) 16、20、20、20维数为较大的数但是，可知：k(x，y )=)=(4 10 18 ) ^ 2=1024。 即，k(x，y )=(x，y ) )2=f(x )，f (y )
使用核函数的好处是可以在低维空间中计算高维空间样本的内积。 (本质上并不是映射原始数据，只是假设如此，还是实际在低维空间进行计算(内积后再映射)，计算结果是否与对应高维空间的计算结果相同)。
5.3 bmdlr核函数(接近无限维的变换) ) ) ) ) ) )。
线性支持向量机(线性内核函数)和非线性支持向量机(bmdlr内核函数) :