介绍
支持向量机(Support Vector Machine，以下简称SVM )是通用的前馈网络类型，是传统机器学习中非常重要的分类算法。 Vladimir N.Vapnik和Alexey Ya.Chervonenkis最早于1963年提出，在当前版本深度学习(2012 )出现之前，不考虑集成学习算法，而是使用特定的训练数据中心
SVM原本是一种既支持线性分类又支持非线性分类的二元分类算法，经过演化，现在多分类问题也得到支持，可以应用于回归问题。 本文重点介绍线性支持向量机的模型原理和目标函数优化原理。
目录
感知机模型理解线性支持向量机一、感知机模型
在说明SVM模型之前，可以很容易地理解感知机模型的原理。 这是因为两种模型有相同的地方。 在二维平面中，感知机模型找到直线，尽量分离两个不同类别的样本点。 同样，在三维以上的高维空间中，就是找到超平面。 将该超平面定义为wTx b=0(在二维平面中，相当于直线w_1*x w_1*y b=0)，超平面以上点定义为y=1，超平面以下的点定义为y=-1。 这样的超平面可能不是唯一的，感知机如何定期优化超平面呢？ 从感知机模型的目标函数可知，希望从被错误分类的所有点(定义为m )到超平面的距离和最小化。 目标函数如下：
(注)之所以输入y_i，是因为如果点位于超平面之下，则w*x_i b为负数，因此需要乘以相应的y ) ) ) ) ) ) ) ) ) )。
可见，当w和b按比例增加后，例如均扩大到n倍时，分子和分母都同时扩大到n倍，不影响目标函数。 因此，如果将w放大或缩小到一定的倍数，如||w||=1，分子也会相应地放大或缩小。 这样可以将目标函数简化为：
该思想应用于支持向量机的目标函数优化。 后面会详细叙述。
二、理解线性支持向量机
http://www.Sina.com/http://www.Sina.com /
如上所述，线性支持向量机的思想与感知机的思想非常相似。 其思想也是对给定的训练样本，找出超平面，尽可能多地划分正反例。 不同的是，其选择最好的超平面是根据正反例尽量远离这个超平面。
线性支持向量机模型
从上图可以看出，实际上，只要能保证最接近超平面的点尽可能远离超平面，就能保证所有的正反例都尽可能远离这个超平面。 因此，2.1
http://www.Sina.com/http://www.Sina.com /
在对SVM思想有一定了解后，超平面取wTx b=0。 说明函数的间隔和几何间隔的区别吧。
给出样本x，|wTx b|表示从点x到超平面的距离。 通过观察wTx b和y是否相同的编号来判断分类是否正确。 因此，函数间隔将’定义如下。
另一方面，函数间隔对点到超平面的距离没有正常反应。 这是因为，当以等比率放大w和b时，函数间隔也相应地扩大到倍数。 因此，引入了几何间隔。
几何学间隔是指根据函数的间隔，对分母施加w的制约。 这种约束就像正规化一样。 被定义为。
其实参考点到直线的距离，可以看出几何间隔是高维空间中点到超平面的距离，真正反映出点到超平面的距离。
2.3 SVM目标函数与优化
根据SVM的观点，已知最大化从支持向量到超平面的几何间隔，因此目标函数可以表示为：
在感知机模型的最后，发现同时放大w和b时，分子分母也同样放大，不影响目标函数，所以在这里将分子(从支撑向量到超平面的函数间隔)放大或压缩为1时，目标函数可以变换为
但是，上式不是凸函数，很难求解，而且变换如下
上式是凸函数，不等式受仿射函数的约束，可以用拉格朗日对偶求解该问题。
通过拉格朗日乘子法，引入拉格朗日乘子，由于0，首先不考虑min，)2)问题等价于
然后考虑到min，情况如下。
应用拉格朗日对偶性，通过求解对偶问题得到最优解，对偶问题的目标函数如下
这就是在线性可分离条件下支持向量机的对偶算法。 这样做的优点是：
一是原问题的对偶问题更容易求解
两者可以自然引入核函数，进而推广到非线性分类问题。
)4)求出目标函数对w和b的极小值后，可以求出拉格朗日乘数的极大值。
首先，对w和b分别求出偏导数，设为0 :
将(5)和(6)代入(4)得到：
对(7)取反得到：
只要我们可以求出(8)中极小化的α向量，那么我们就可以对应的得到w和b，而求解α需要使用SMO算法，由于该算法比较复杂，我们将在下一篇文章专门讲解。假设我们现在已经使用SMO算法得到了最优的α值，记为α_ *
再求b：
对于任一样本(x_s, y_s)有：
注意到任一样本都有y_s^2=1，则将右式的1用y_s^2代：
将(9)代入上式，可以得到：
这样，我们就能够求解得到线性支持向量机的目标函数的各个参数，进而得到最优的超平面，将正负样本分隔开。但是在上文中我们没有讲解求α向量的SMO算法，在下篇文章，将会详细讲解SMO算法，欢迎继续关注。