欠配合和过配合首先要看下面三张图,
最初的拟合是y=0 1x的一次函数
第二张拟合是y=0 1x 2x2的二次函数
第三张的拟合是为了y=5j=0jxj的5次项函数
最左边的分类器模型不能很好地捕捉数据的特征,不能很好地拟合数据。欠拟合
然后,最右边的分类器对包括噪音数据在内的所有数据进行了分类。 由于结构复杂,对于后来重新分类的新数据,对于稍有不同的数据,它会认为不属于这个类别。过拟合
局部权重回归由于局部权重回归是一种非参数化学习算法,因此对于自变量的次项选择不必过于担心
普通的线性回归算法希望预测x点的y值。 我们通过以下内容
通过拟合(I (y ) I )Tx (I ) ) 2的最小值预测的值为tx的局部加权回归算法,通过以下步骤预测y的值。
通过拟合(iw (I ) ) y ) I )Tx ) I ) ) 2的最小值预测的值为Tx
这里的w(I )是权重,不是固定值。 w )通过调整I )的值,确定不同的训练数据对结果的影响。
当w(I )小时,与其对应的y ) I )tx )也小,对结果的影响也小
如果很大,则与其相对应的y(I ) -tx (I )也很大,对结果的影响很大。
w(I )的计算方法有很多种,一个公式如下。
w(I )=exp () x ) (222 ) ) ) ) ) ) w(I )=exp () x ) ) ) ) ) ) w ) ) w ) w ) x ) x ) x ) ) w ) ) ) w ) w ) w ) x ) w ) x ) x ) w ) w ) x ) w ) w ) w ) w ) w ) w ) w )
这与ymdsh分布非常相似。 函数图类似于下图。 在与预测点x对应的中间顶点的自变量中,越接近x,w(I )的值越大,越远,w(I )的值越小。 这将导致xscripttype='math/tex ) id='mathjax-