已知有一组使用线性函数来研究是否存在线性关系的向量。 如果数据之间是非线性呢？
非线性数据意味着如果不利用非线性模型就无法进行更好的预测。 但是，非线性问题往往很难求解，所以想用求解线性分类问题的方法来解决这个问题。 进行非线性变换，将非线性问题变换为线性问题，通过求解变换后的线性问题来求解原非线性问题。 原理是将数据映射到高维数据，可以在高维空间中线性分离。 如下图所示，从低维变换为高维的是变换函数。
但是，有问题，高维空间的数据计算很困难。 因此，替代方案在特征空间中计算相似度度量，而不是计算向量的坐标，并应用只需要该度量值的算法。 用点积(dot product )表示相似性的尺度。
1、核心函数的定义是原始空间中的向量为输入向量，3358www.Sina.com/(变换后的数据空间，可能是高维的) http://www.Sina.com
使用内核，不需要将数据显式嵌入空间。 许多算法只需要图像向量之间的内积。 (内积是标量)。 特征空间不需要数据的坐标。
示例1 :考虑具有特征映射的二维输入空间：
要将特征映射到三维：
特征空间内积：
根据上述内容，核函数为
但是，由于核函数只计算映射的内积，所以进行映射以得到上面的核函数，但是由于特征空间变为4维，所以对核函数来说特征空间不是唯一的。
特征空间以上示例可以扩展为和或其他。 只要最后两个向量的点积是核函数的形式即可，关于axdyg核函数可以扩展到无限维。
内核函数一般有以下两个属性(但不是所有内核函数) :
对称性)。
非负的(non-negative )。
补充：输入空间一般为欧式空间或离散集的输出空间又称为dnp空间，是具有自然内积和点积的向量空间。
2、Mercer内核是来自输入空间的有限集合。 的空间克矩阵(Gram matrix )定义为或。
如果是，则矩阵为正定的，称为Mercer核或正定核(positive definite:pd )。 Mercer核是对称的
如果33558www.Sina.com/Gram矩阵已归一化，则可以计算gram矩阵的特征向量来降低维数。
、是第I个特征值。 因为矩阵被正规化了。
的每个元素是两个向量的点积，可以描述为：
内核的每个元素都可以被描述为应用于对象内积的函数。 Mercer内核的各元素位于Hilbert空间中，Hilbert空间是由两个任意向量的内积定义的抽象向量空间。
称为基函数(basis function )，空间f被描述为特征空间。 也就是说，使用基函数将对象映射到特征空间f。
基本函数(Mercer核)可以写成的特征函数的线性组合。 特征空间f维数绝对没有限制； 实际上，f可能是无限维的。 请注意以下两点：
许多内核方法不需要显式计算，而只是使用由内核函数计算的Gram矩阵。 这意味着可以在任何复杂的f特征空间中构建分类器，但不需要显式计算该空间中的元素。 难以计算(通常不需要)，直接使用直观的基函数构建内核。 简单来说，就是应用核技术：
将数据映射到高维空间，通过点积比较这些数据使其无法在高维空间中工作，选择特征空间。
其中点积可以使用输入空间中的非线性函数直接求值例2：假设在一维空间中有n个点（均为标量），如何利用核函数将其转到高维空间进行分类？
对于一维空间的点 （代表一个样本）可以将其转换为向量，即 。根据核函数的定义可得：
上例中通过将转换函数 ，将一维空间的变量转换到二维空间，计算简单，如上图所示，在特征空间线性可分。上式也可以尝试转换到更高维。
核函数方法的主要思想是活得一组观测数据，并将它们投影到另一空间，在这个空间中，点之间的比较是直接的。特征空间的位数可以是任意维，但可以在这个复杂的特征空间中使用简单的分类器，但要注意过拟合（特征过多会引起过拟合）。
3 构建核函数 3.1 线性核函数让转换函数 ，则得到线性核函数，则两个向量的点积为：
线性核函数的特征空间F的维度与输入控件的维度一样，每个向量的特征数也一样(,叫特征， 代表一个样本）。
当不需要在特征空间进行运算时，可以用线性核函数。如原始数据已经是高维的、可比较的，并且在输入空间线性可分。
线性内核适用于由大量固定长度的特征表示的对象(例如字袋)。
注：一个向量代表一个样本，一个样本有多个特征
3.2 axdyg核函数axdyg核也叫squared exponential kernel 、SE kernel or radial basis function （RBF），形式如下：
是观测中每个特征的协方差，p维矩阵。当是对角线矩阵时，可以写为：
被定义为特征 的伸缩尺度(舒适的爆米花 length scale)。
如果是球形的，则有：
该核函数的特征空间的维度是无限的。核函数避免了转换函数的计算，所以可以用相对nqdwx距离计算 的Gram 矩阵
，即使已经隐式地将对象投射到无限维的特征空间中。
3.3 核函数类别核函数类别(x,y表示输入空间的向量)
名称表达式参数linear kernelc:常数polynomial kernelalpha:slope
c:constant;c=0,同质多项核函数;c=1,不同质多项核函数
d≥1，多项式次数
gaussian kernel radial kernel正常= 1/n_featuresexponential kernel laplacian kernel ANOVA kernel回归hyberbolic tangent
(sigmoid)kernel
主要用于神经网络;
正常 alpha=1/N,N是数据维度；alpha>0,c<0;
非正定核
rational quadratic kernel有理二次核的计算量比axdyg核小，当使用axdyg核代价太大时，它可以作为一种选择Multiquadric Kernel非正定核Inverse Multiquadric Kernel 与axdyg核一样，其结果是一个满秩的核矩阵，从而形成一个无限维的特征空间Circular Kernelif , zero otherwise
圆核用于地球静力学应用。它是一个各向同性固定核的例子，在R2中是正定的Spherical Kernelif , zero otherwise
球核与圆核相似，但在R3中是正定的Wave Kernel 对称正半定Power Kernel幂核也称为三角核。它是尺度不变核的一个例子，并且也是条件正定的。Log Kernel对于图像来说，Log内核似乎特别有趣，但它只是在一定条件下是正的Spline Kernel 以分段三次多项式的形式给出B-Spline (Radial Basis Function) Kernel b样条核是在区间[- 1,1]上定义的Bessel Kernel Cauchy Kernel一个长尾核，可用于在高维空间上提供远程影响和灵敏度。Chi-Square Kernel修订版：
Histogram Intersection Kernel直方图相交核也被称为最小核，并已被证明在图像分类中是有用的Generalized Histogram Intersection广义直方图相交核是在直方图相交核的基础上建立的，用于图像分类，但适用于更广泛的环境Generalized T-Student Kernel是一个Mercel核，因此具有一个正半定核矩阵Bayesian Kernel Wavelet Kernel平移不变版：
a和c分别为正直的橘子扩张系数和平移系数此外还可以通过函数组合得到，如对于核函数,有：
c为常数，f(·)是任意函数，q(·)无负系数的多项式，A是半正定矩阵。
4 核函数的应用核函数是一种灵活表示数据样本的方法，这样就可以在复杂的空间中比较样本。核函数在比较中显示出了很大的实用价值。
不同大小的图片不同长度的蛋白序列3D结构对象不同数量的边和节点的网络不同长度和形式的样本文件以上对象都有不同的数量和类型的特征。希望能够对数据样本进行聚类，以找出在这个复杂的高维空间中哪些对是邻居。核函数是一个任意函数，它允许将复杂空间中的对象映射到高维空间，从而能够以简单的方式比较这些复杂的特性。
若有一个样本空间和核函数定义的特征空间，则有助于：
比较：可以用于比较两个具有不同数量单词的文本。一个适当定义的内核为我们提供了一个度量标准，通过它可以量化两个对象之间的相似性分类：尽管可以在特征空间中量化相似性，但简单的分类器在这个空间中也可能表现不佳。希望将数据投影到另一个空间，并在这个空间中对样本进行分类。应用于：K近邻、支持向量机
5 核函数的优劣劣势：
为给定的问题选择核函数可能很困难对于大型数据集，可能无法存储整个核函数矩阵，可能需要重新计算核函数优势：
核函数在某些特征空间通过点积的方式计算，但无需知道特征空间以及转换函数。这就是核函数的有用之处。使在高维空间中以极低的计算成本寻找线性关系成为可能，这是因为在特征空间中输入图像的内积可以在原始空间中计算出来不需要数据是真实的向量，可用于字符串、时序数据