目录
多项式回归求解线性不可分问题
为什么要引入核函数
什么是超平面
内积与超平面和分类的关系
为什么需要提出核函数
常用核函数
为什么jqdkfd内核函数可以映射到任何维
核函数的满足条件
多项式回归求解线性不可分问题
分类中可能存在不可线性分离的情况，需要多项式回归、结合逻辑回归得到期望的结果。
图1线性不可分
多项式回归是指将低维数据映射到高维数据的过程，通过增加高次项进行。
为什么增加高次多项式后，这样的分类问题可以解决呢？
举个简单的例子吧。 例如，我们的数据是一维的：
不能用一条直线来区分数据。 因为无论怎么划分，都会发生错误的分类。
如果原始数据为x，则添加维x2并从一维转换为二维，数据将如下所示：
可以用y=x这条直线来区分两者。 这里以x2为y轴。
回到一维，实际上是这样的曲线x2 - x=0:
机器学习笔记029 |核函数-知乎(zhihu.com) https://zhaun.zhi Hu.com/p/30009055
为什么要引入核函数
在讨论这个问题之前，我们需要知道我们对数据进行了什么操作。 我们的目标是通过从低维到高维的转换，找到线性可分的解决方案并进行分类。
因此，首先需要将样本从低维空间转换为高维空间。 或者，需要将样本放回特征空间。 这是通过映射完成的。 这意味着您需要一个根据现有变量确定高维变量值的转换函数。 然后根据不同分类的重心确定超平面。 这个超平面就是我们想要的解决方案。
什么
是超平面首先明确几个定义：(1) 超平面是指n维线性空间中维度为n-1的子空间。它可以把线性空间分割成不相交的两部分。比如二维空间中，一条直线是一维的，它把平面分成了两块；三维空间中，一个平面是二维的，它把空间分成了两块。(2) 法向量是指垂直于超平面的向量
假定在高维空间中的样本分布如下：
质心为和，则超平面可取为法向量，过两质心连线中点的平面。
内积与超平面和分类的关系任一样本与连接所生成的向量都会与超平面产生一个夹角，夹角可以用内积表示如下：
不难发现的值主要取决于上面的内积， 而的值又影响着对于正类和负类的判断，即内积影响着分类。
为什么需要提出核函数核函数主要是为了解决映射到高维特征空间时维数过大而导致运算量大的问题而提出的。由于映射到高维所得到的高维变量的值由已知低维变量的值确定，因此完全可以找到一个函数跳过映射的步骤，从而得到内积来减少计算量。
从上述公式推导过程可以看出，核函数是一个用原有特征空间上点内积的方式通过运算转换成高维空间点内积，而不必完全有高维空间上的点进行计算，从而到达降低运算复杂度的作用。核函数让人们不需要知道映射函数长什么样，不需要知道怎么选取映射，就能够算出内积。
常用核函数
线性核，其实就是没有映射
jqdkfd核函数，使用最为广泛，它能够把原始特征映射到无穷维。
多项式核函数，它能把数据映射到Cnn+dCn+dn维。
由此可见：选择什么样的核函数将会决定你把数据映射到什么样的维度。
为什么jqdkfd核函数能映射到任何一个维度上以jqdkfd核函数为例，
我们假设σ=1，则
得到的这个映射函数的阶可以到无穷大，因此jqdkfd核函数可以将低维数据映射到任意维度。
中间转换的tzdbg公式摆在这里：
核函数的满足条件
主要参考博客核函数（kernel function） - Damin1909 - 博客园 (cnblogs.com)https://www.cnblogs.com/damin1909/p/12955240.html#:~:text=%20%E6%89%80%E8%B0%93%E6%A0%B8%E5%87%BD%E6%95%B0%EF%BC%8C%E5%B0%B1%E6%98%AF%E5%9C%A8%E5%8E%9F%E7%A9%BA%E9%97%B4%E4%B8%8A%E4%B8%A4%E4%B8%AA%E7%82%B9%E5%86%85%E7%A7%AF%E7%9A%84%E4%B8%80%E4%B8%AA%E5%87%BD%E6%95%B0%E5%BE%97%E5%88%B0%E7%9A%84%E3%80%82,%E4%BB%8E%E4%B8%8A%E8%BF%B0%E5%85%AC%E5%BC%8F%E5%8F%AF%E4%BB%A5%E7%9C%8B%E5%87%BA%EF%BC%8C%E6%A0%B8%E5%87%BD%E6%95%B0%E6%98%AF%E4%B8%80%E4%B8%AA%E7%94%A8%E5%8E%9F%E6%9C%89%E7%89%B9%E5%BE%81%E7%A9%BA%E9%97%B4%E4%B8%8A%E7%82%B9%E5%86%85%E7%A7%AF%E7%9A%84%E6%96%B9%E5%BC%8F%E9%80%9A%E8%BF%87%E8%BF%90%E7%AE%97%E8%BD%AC%E6%8D%A2%E6%88%90%E9%AB%98%E7%BB%B4%E7%A9%BA%E9%97%B4%E7%82%B9%E5%86%85%E7%A7%AF%EF%BC%8C%E8%80%8C%E4%B8%8D%E5%BF%85%E5%AE%8C%E5%85%A8%E6%9C%89%E9%AB%98%E7%BB%B4%E7%A9%BA%E9%97%B4%E4%B8%8A%E7%9A%84%E7%82%B9%E8%BF%9B%E8%A1%8C%E8%AE%A1%E7%AE%97%EF%BC%8C%E4%BB%8E%E8%80%8C%E5%88%B0%E8%BE%BE%E9%99%8D%E4%BD%8E%E8%BF%90%E7%AE%97%E5%A4%8D%E6%9D%82%E5%BA%A6%E7%9A%84%E4%BD%9C%E7%94%A8%E3%80%82%206.%20%E5%B8%B8%E7%94%A8%E6%A0%B8%E5%87%BD%E6%95%B0%E7%9A%84%E7%90%86%E8%A7%A3
研究核函数的一点小心得，如果文章中出现错误的地方欢迎大家来评论区指正，一定及时修改。