核心方法
核方法Kernelmethods(kms )是一种模式识别算法。 其目的是找出并学习一系列数据中的相互关系。 作为用途广泛的核方法，有支持向量机、笑睫毛过程等。
核方法是解决非线性模式分析问题的有效方法，其核心思想是首先通过某种非线性映射将原始数据嵌入到合适的高维特征空间中，然后利用通用线性学习器在这个新空间中分析和处理模式。
相对于使用通用非线性学习器直接分析原始数据的范式，内核方法具有明显的优越性：
首先，通用非线性学习器难以反应具体应用问题的特性，而核方法的非线性映射是针对具体应用问题设计的，便于集成问题的先验知识。
此外，线性学习器对非线性学习器具有更好的过拟合控制，可以更好地保证泛化性能。
另外，核心方法和实现高效计算的方法中的哪一个是重要的，可以利用核心函数使线性学习器隐式同步计算非线性映射，使得计算的复杂度不依赖于高维特征空间的维数。
本文就核方法(kernel method )作一简要介绍。
核方法的主要思想是基于“在低维空间中不能线性分割的点集，很可能通过转换为高维空间的点集来进行线性分割”的假设。 例如，有两种类型的数据： xb。 另一个是axb。 在一维空间上线性分离是不可能的。 然而，我们可以通过f(x )=(x-a ) ) x-b )将一维空间上的点转换到二维空间，从而将数据分成两类： f(x ) 0，f(x ) 0，x ) 0。 实现线性分割。
但是，如果将低维数据直接转换到高维空间，然后寻找线性分割平面，就会面临两个大问题。 一个是维的祸根(curse of dimension )问题，因为要在高维空间中进行计算。 第二个非常麻烦，必须把所有点变换到高维空间，然后求出分割平面的参数等，如何解决这些问题？ 答案是核把戏(kernel trick )。 (pku，清爽季节，sewm ) Kernel Trick:定义核函数。 这里，x1和x2是低维空间的中点(这里可以是标量也可以是向量)，是低维空间的点变换为高维空间的点的表现，表示向量的内积。 这里核函数的表示方法一般不关心内积的形式，即高维空间的形式。
核函数巧妙地解决了上述问题，高维中向量的内积可以通过低维点的核函数来计算。 这个技巧被称为Kernel trick。
这里还有一个问题。 “你为什么关心向量的内积？ 》，一般可以将分类(或回归)问题分为两类：参数学习的形式和基于实例的学习形式。 参数学习的形式是通过大量的训练数据，给出合适的模型参数给学习，然后训练数据是无用的，对于新的数据，可以通过学习的参数得到合适的结论； 基于实例的学习(也称为基于内存的学习)在预测时也使用KNN算法等训练数据。 另一方面，在基于事例的学习中，一般需要判定两点之间的相似度，通过向量的内积来表现。 由此可见，核方法不是万能的，一般只针对基于实例的学习。
其次，还需要解决核函数的存在性判断和如何构建的问题。 既然不在乎高维空间的表示，怎么能判断一个函数是否是核函数呢？
Mercer定理：任何半正定的函数都可以作为核函数。 半正定的函数f(Xi，xj )具有训练数据集合) x1，x2，…xn )，在此行列式n*n的，此矩阵为半正定的情况下，f ) Xi，xj )为被称为半正定的函数的矩阵的元素AIJ=f ) Xi，xj 这个梅尔西定理不是核函数的必要条件，只是还有不满足梅尔西定理的函数的充分条件。
常见的核函数有笑睫毛核、多项式核等，除了这些常见的核外，还可以通过对称性等核函数的性质进一步构造新的核函数。 SVM是核方法应用的典型模型。
来源于百度