SVM简介
SVM核是优化方法(有约束的拉格朗日乘子法)，思想是max(min )，即找到最小间隔的点(即支持向量)，目标是通过求解参数alpha、w、b来确定超平面其中最有名的实现方法是短信或平板短信； 确定目标函数，严格推导发现，最终与只涉及所有点向量内积的kNN相比，只留下少量样本，占用内存小；
(经典MIT课程https://www.youtube.com/watch？ v=_PwhiWxHK8o )内核函数是不能直接二分的函数变换，使得曲线或曲面代替直线或超平面； 可以把核函数看作包装器和接口，在高维空间解决线性问题，用“核函数”代替“内积”是核技术，等效于在低维空间解决非线性问题； 径向核函数(gsdxwz版本)和多项式核函数是常见的核函数；
(任性的啤酒SVM使用对偶法求解。 即，max(min )变为min ) max )，也提到kkt，最后求w和b的式，也是内积的线性和) ) ) ) )。
(在任何线性分类器中，如果可以写成内积的形式，可以用逻辑回归等核函数代替)
核函数其实是求相似度的函数，它把两个向量变成一个标量，即相似度。 所以从侧面说明，内积也是相似度)
(核函数的选择要求满足Mercer定理(mercer’s theorem )。 也就是说，具有核函数在样本空间中的扩展的冥王星矩阵(核矩阵)是半正定矩阵) ) ) ) )。
(soft margin解决非线性可分离问题； 坐标下降法是一种一次只更新一个参数的非梯度优化算法。)
(SMO每次同时更新两个阿尔法，重复满足kkt条件； 注意：根据公式，如果求出所有的阿尔法，w也确定，并且b也确定)
https://www.youtube.com/watch？ v=FCUBwP-JTsA (任性的啤酒SVM Lecture 12.1-12.6 ) )。
https://www.youtube.com/watch？ v=QY jkd-zxrelist=pl ebc 422 EC 5973 B4 D8索引=6(cs 229第6、7、8 ) ) ) ) ) ) ) ) ) )。
https://www.cnblogs.com/温驯的杯子/archive/2011/03/13/1982684.html
背景知识
kkt条件和拉格朗日乘法是什么？
对于等式约束优化问题，可以应用拉格朗日乘子法求最优值； 如果包含不等式约束，可以应用KKT条件求出；
关于不等式约束，只要满足一定的条件，仍然可以用拉格朗日乘子法解决。 这里的条件是KKT条件；
KKT条件可以认为是拉格朗日乘子法的泛化； 拉格朗日乘数法是KKT条件等式约束优化问题的简化版
33559 www.cn blogs.com/ooon/p/5721119.html
3359 blog.csdn.net/xianling Mao/article/details/7919597
https://白嘉豪. Baidu.com/s？ id=1618344063706450694 wfr=spider for=PC
33559 www.cn blogs.com/liaohuiqiang/p/7805954.html
3359 blog.csdn.net/loadstar _ Kun/article/details/25369017
3359 blog.csdn.net/Johnny Constantine/article/details/46335763
拉格朗日对偶是什么？
33559 www.cn blogs.com/ooon/p/5723725.html
33558 www.hank cs.com/ml/la grange-duality.html
3359 blog.csdn.net/timing space/article/details/50966105
坐标下降法是什么？
3359 blog.csdn.net/QQ _ 32742009/article/details/81735274
33559 www.cn blogs.com/makefile/p/coord-descent.html
SVM核心思想及公式推导
为什么需要核函数
考虑到下图的左一，很明显数据不能线性分割。 如果用直线强行分割，可能会得到下图中间的结果，但是如果引入核函数，分割结果会变成下图的左右两边，不是很机智吗？ )
举一个更直观的例子，下图左侧的数据看起来无法线性分割。 如果这些点实际上是三维空间在二维平面上的投影，并且它们在三维空间中的位置如右边所示，则很明显，这些点可以在超平面中线性分割。
核函数选择
核函数一般采用径向基核函数(gsdxwz版本)
也可以采用多项式核函数等其他函数，只要满足Mercer定理即可
SVM vs 逻辑回归
要使用SVM or逻辑回归，必须知道数据的特征数和训练样本数的相对大小
SVM vs 神经网络
SVM是凸函数，不陷入局部极小值与神经网络形成鲜明对比
多分类SVM
将训练多分类SVM转换为训练多个二分类SVM