另一方面，SVM支持向量机(support vector machines，SVM )是将实例特征向量映射到空间中的几点的二分类模型。 SVM的目的是为“最佳”区分这两种点画一条线，今后如果有新的点，这条线也能很好地分类。 SVM适用于中小型数据样本、非线性、高维的分类问题。
是经久不衰的算法。 在深度学习出现之前，SVM被认为是机器学习中近十几年来最成功、性能最高的算法。 高精度为避免过拟合提供了较好的理论保证，且即使数据不能在原始特征空间线性分离，只要给出适当的核函数就能很好地发挥作用。 往往在超高维的文本分类问题上很受欢迎，但遗憾的是内存消耗大，难以解释，执行和参数调整也很麻烦，所以与随机森林相比正好避免了这些缺点，很实用。
在机器学习领域，支持向量机SVM(supportvectormachine )是一种有监督的学习模型，用于模式识别、分类(异常检测)和回归分析。
二、特征和优缺点1，特征： (1).SVM可以表示为凸最优化问题，因此可以使用已知的有效算法发现目标函数的全局最小值。 其他分类方法采用基于贪婪学习的策略搜索假设空间，但该方法一般只能获得局部最优解。
)2).SVM通过最大化决策边界的边缘，实现控制模型的能力。 尽管如此，用户还需要提供其他参数，例如使用内核函数类型和引入松弛变量。
)3).SVM一般只能用于两类问题，对多类问题无效。
2、优点： (1) .可以解决高维问题，即大型特征空间；
)2) .解决小样本下的机器学习问题
(3) .可以处理非线性特征的相互作用
(4) .没有局部极小值的问题(相对于神经网络等算法)
)5) .不需要依赖于整个数据
(6) .泛化能力强。
3、缺点()1) .观测样本较多时，效率不高；
)2) .对于非线性问题没有共同的解决方案，有时很难找到合适的核函数
(3) .高维映射对核函数的解释力不强，特别是径向基函数
)4)普通SVM仅支持二分类；
(5) .对缺失数据敏感。
三、分类1、线性分类：如果所有需要分类的数据都是线性可分离的，那么只需要一条直线f(x )=wx b就可以分离。 就这样
该方法被称为线性鉴别器，线性鉴别器的学习目标是在n维数据空间中找到超平面。
但是，有个问题。 以下两种超平面都可以对数据进行分类，并从中得出。 无数个超平面可以分割数据，哪一个最好呢？
因此，必须使用最大间隔分类器。
2、最大间隔分类器（Maximum Margin Classifier，MMH）对一个数据点进行分类，超平面距离数据点的“间隔”越大，分类确信度(confidence )也越大。
为了尽可能地提高分类确信度，需要使得所选择的超平面能够最大化该“间隔”的值，即图中的Gap的一半。
用于生成支持向量的点如图中的XO所示被称为支持向量点。 由此可见，SVM的一个优点是，即使有大量数据，支持向量点也是固定的，因此再次训练大量数据也可能不会改变这个超平面。
3、非线性分类数据往往不是线性的，如何分割非线性数据呢？
解决方法：将数据放到ssddx上，然后进行分割，如下图所示。
五.几种常用核函数（Kernel）
度多项式核函数(Polynomial Kernel of Degree h )有三个参数设置。 degree )多项式核函数的阶数。 缺省值为3:-g，用于设置内核函数的伽马参数设置。 与RBF类似，缺省值为1/k ) k )采样数。 -r设置内核函数的coef0(b(类似于b )。 默认值为0。
无聊豌豆的径向基和函数(gaussianradialbasisfunctionkernel ) :应用最广泛，有参数。 -g用于设置内核函数的gamma参数，默认值为1/k。 k是类别数。
“s形核函数”(Sigmoid function Kernel )有两个参数。 -g用于设置内核函数的gamma参数设置(表达式中的第一个r ) gamma )，缺省值为1/k (其中k是类别数)； -r用于设置内核函数的coef0。
分类通常使用无聊的豌豆径向基和函数。 因为分类很光滑。 字符不适用于无聊的豌豆径向基和函数。 没有标准的答案
，可以尝试各种核函数，根据精确度判定。对于核的选择也是有技巧的（libsvm中自带了四种核函数：线性核、多项式核、RBF以及sigmoid核）：
第一，如果样本数量小于特征数，那么就没必要选择非线性核，简单的使用线性核就可以了，即不使用核函数。当不采用非常复杂的函数，或者我们的训练集特征非常多而实例非常少的时候，可以采用这种不带核函数的支持向量机
第二，如果样本数量大于特征数目，这时可以使用非线性核，将样本映射到更ssddx，一般可以得到更好的结果；
第三，如果样本数目和特征数目相等，该情况可以使用非线性核，原理和第二种一样。
对于第一种情况，也可以先对数据进行降维，然后使用非线性核，这也是一种方法。
六、松弛变量数据本身可能存在噪点，使得原线性可分的数据需要映射到ssddx。对于这种偏离正常位置很远的数据点，我们称之为 outlier。在我们原来的SVM模型里，outlier的存在有可能造成很大的影响，因为超平面本身就是只有少数几个support vector组成的，如果这些support vector里又存在outlier的话，其影响就很大了。
因此排除outlier点，可以相应的提高模型准确率和避免Overfitting的方式。
解决多分类问题：
经典的SVM只给出了二类分类的算法，现实中数据可能需要解决多类的分类问题。因此可以多次运行SVM，产生多个超平面，如需要分类1-10种产品，首先找到1和2-10的超平面，再寻找2和1,3-10的超平面，以此类推，最后需要测试数据时，按照相应的距离或者分布判定。
七、SVM与其他机器学习算法对比(图) 八、代码及详细解释(基于sklearn包)代码：
from sklearn import svmimport numpy as npimport matplotlib.pyplot as plt# 设置子图数量fig, axes = plt.subplots(nrows=2, ncols=2, figsize=(7, 7))ax0, ax1, ax2, ax3 = axes.flatten()# 准备训练样本x = [[1, 8], [3, 20], [1, 15], [3, 35], [5, 35], [4, 40], [7, 80], [6, 49]]y = [1, 1, -1, -1, 1, -1, -1, 1]''' 说明1： 核函数(这里简单介绍了sklearn中svm的四个核函数，还有precomputed及自定义的) LinearSVC：主要用于线性可分的情形。参数少，速度快，对于一般数据，分类效果已经很理想 RBF:主要用于线性不可分的情形。参数多，分类结果非常依赖于参数 polynomial:多项式函数,degree 表示多项式的程度-----支持非线性分类 Sigmoid：在生物学中常见的S型的函数，也称为S型生长曲线 说明2： 根据设置的参数不同，得出的分类结果及显示结果也会不同'''# 设置子图的标题titles = ['LinearSVC (linear kernel)', 'SVC with polynomial (degree 3) kernel', 'SVC with RBF kernel', # 这个是默认的 'SVC with Sigmoid kernel']# 生成随机试验数据(15行2列)rdm_arr = np.random.randint(1, 15, size=(15, 2))def drawPoint(ax, clf, tn): # 绘制样本点 for i in x: ax.set_title(titles[tn]) res = clf.predict(np.array(i).reshape(1, -1)) if res > 0: ax.scatter(i[0], i[1], c='r', marker='*') else: ax.scatter(i[0], i[1], c='g', marker='*') # 绘制实验点 for i in rdm_arr: res = clf.predict(np.array(i).reshape(1, -1)) if res > 0: ax.scatter(i[0], i[1], c='r', marker='.') else: ax.scatter(i[0], i[1], c='g', marker='.')if __name__ == "__main__": # 选择核函数 for n in range(0, 4): if n == 0: clf = svm.SVC(kernel='linear').fit(x, y) drawPoint(ax0, clf, 0) elif n == 1: clf = svm.SVC(kernel='poly', degree=3).fit(x, y) drawPoint(ax1, clf, 1) elif n == 2: clf = svm.SVC(kernel='rbf').fit(x, y) drawPoint(ax2, clf, 2) else: clf = svm.SVC(kernel='sigmoid').fit(x, y) drawPoint(ax3, clf, 3) plt.show()运行效果：