1.关键概念及学习目标线性非线性分类问题核技巧
非线性分类问题是指利用非线性模型可以很好地分类的问题。 在上图的左侧，正负示例无法用直线(线性模型)正确区分，但可以用椭圆曲线(非线性模型)正确区分。 此时，我们可以进行非线性变换。 内核技术被应用于支持向量机，并通过非线性变换将输入空间(欧几里得空间或离散集合)对应于一个特征空间(美丽的大厦空间)，以及对应于原始超曲面模型特征空间的http://www
在可线性分离的情况下，训练数据集的样本点中离分离超平面距离最近的样本点的实例被称为支持向量。 在决定超平面模型时，只有支持向量起作用，其他实例点不起作用。 (分离超平面)这里讨论的是线性可分离的SVM，如果可以对软间隔进行非线性分离，可以通过加入正则、核技术来解决。 其他也一样)
如上图所示，上面的点是支持向量。 支持向量必须满足以下约束：
举个例子
如上图所示，在X1、X2为正例、X3为反例的情况下，优选对SVM有以下制约
在支持向量机模型中，我们的学习目标
接着上图，直观地看，如果我们的分类器足够的话，我们正负支持向量之间的间隔应该更大。 用公式记述如下。
综上所述，有限制的优化问题，也就是学习目标(这里是以标准的形式写的，以便以后导出后容易理解。 )注上的约束问题)目标函数为凸函数)，拉格朗日对偶性)如果对凸优化不太了解，请参阅本文档《Convex Optimization》。 这样做的优点之一是对偶问题更容易解决； 二是自然引入核函数，与推导出的结果有关，进而推广到非线性分类问题。2.拉格朗日对偶算法推导
)1)推导过程
由于拉格朗日的对偶性，原始问题的对偶问题是一个极小的问题：
因此，为了得到对偶问题的解，首先需要求出l(w，b，a )对w，b的极小，然后求出a的极大。
)2)定义拉格朗日函数
分别对w、b求拉格朗日函数l(w、b、a )的偏导数，使之为0。
得到
将上式代入拉格朗日函数得到
)3) 3358 www.Sina.com/http://www.Sina.com /
)4) 3358 www.Sina.com/http://www.Sina.com /
随着KKT条件的成立，我们将
因为
所以呢
而且，由于
求可以写
求可以写
至此，我们已经导出完毕，得到了最佳的w、b。 从上述公式可以看出，分类决定函数只依赖于输入x和训练样本输入的内积。 (这个内积又与后来的核函数密切相关，至此读者是否感受到了SVM理论上的美丽呢，哈哈) ) ) ) ) ) ) ) )。
如果知道对a的极大，即对偶问题上的推导，对偶形式的解与原始解相等需要什么先决条件呢？
凸函数KKT
介绍了设支持向量机的整个学习过程，但整个过程不包含损失函数。 实际上，对线性支持向量机的学习还有另一种解释，就是以下损失函数(是上面对偶问题的解，则存在下标j，使得) :
目标函数的第一项是经验损失或经验风险，第二项是正则项((再次惊叹幻方) )。
cxdmb老师的书里有证明，感兴趣的读者请去看。
看看这个铰链损失函数
)1)0-1损失函数被认为是二分类问题的真实损失函数，不能连续推导
(2)铰链损失函数式0-1损失函数上限
)3)样本点正确分类时，损失为0，否则损失为1。
)4)铰链损失函数不仅能准确分类，确信度足够高的损失才是0。 也就是说，铰链损耗函数对学习有更高的要求。 3358www.Sina.com/(1)多项式核函数
)2)高斯核函数分离超平面
支持向量机SVM，在处理线性问题时速度和精度一般。 然而，在处理非线性问题时，在大量高纬度数据中显得异常慢(及时使用启发式算法，如时间序列最小优化算法SMO )。分类决策函数
1.cxdmb .统计学习方法