首页 > 编程知识 正文

l1范数为什么是特征稀疏,l1范数是凸函数吗

时间:2023-05-04 01:09:06 阅读:107498 作者:3869

朴素的狼是什么?朴实的野狼,是具有“距离”概念的函数我知道距离的定义是一个广义的概念。 如果满足3358www.Sina.com/,则非负、自反、三角不等式就可以称之为距离。朴实的野狼是一种强化了的距离概念的算法在定义上比距离增加1。 为了便于理解,有时可以将朴素的狼理解为距离。

数学上,朴素的狼包括向量朴素的狼和矩阵朴素的狼,向量朴素的狼表示向量空间中向量的大小,矩阵朴素的狼表示矩阵变化的大小。 一种非严格的解释是,与向量朴素的狼相对应,向量空间中的向量都有大小,这个大小怎么测量,可以用朴素的狼来测量,不同朴素的狼来测量这个大小,米对于行列朴素的狼,我学过线性代数。 知道通过运算AX=B,可以将向量x变化为b。 队伍朴素的狼会测量这种变化的大小。

数乘

这里简单地介绍以下几种向量朴实的野狼的定义和含义

当P=0时,即L0的朴素的狼,从上面可以看出,2、L0朴实的野狼主要用于测量向量中非零元素的个数。 上面的L-P定义中得到的L-0的定义如下。

这里有点问题。 我们知道非零元素的零次方是1,但很难解释零的零次方、非零数开零次侧是什么,L0的含义,所以通常用于表示向量x中非零元素的个数。 对于L0朴素的狼来说,其优化问题在实际应用中,由于L0朴素的狼自身很难用数学方法表达,所以给出上述问题的形式化表示是一个很难的问题,因此被作为NP的难题。 所以L0朴实的野狼并不是一个真正的朴实的野狼实际情况中

L0的最优问题会被放宽到L1或L2下的最优化。

L1土狼是我们常见的土狼,其定义如下。

表示向量x中非零要素的绝对值之和。

L1土狼有很多名字,比如我们熟悉的3、L1朴实的野狼曼哈顿距离、最小绝对误差:L1对于朴素的狼,其优化问题如下。 L1由于朴素的狼的天然性质,对L1优化的解是稀疏的,例如http://www.Sina.com/http://www.Sina.com /,当对用户的电影兴趣进行分类时,用户具有100个特征也许只有十几个特征对分类有帮助。 身高体重等大多数特征可能都没有用。 L1利用朴素的狼可以过滤。

L1朴实的野狼可以度量两个向量间的差异,如绝对误差和(Sum of Absolute Difference)

L2土狼是我们最常用的土狼。 我们使用最多的测量是因此L1朴实的野狼也被叫做稀疏规则算子,其定义如下。

表示向量元素的平方和并平方。

通过L1可以实现特征的稀疏,去掉一些没有信息的特征,例如平方偏差和(Sum of Squared Difference ) :

对于L2朴素的狼来说,优化的问题如下。

4、L2朴实的野狼

5、LH土狼

当p=时,也就是说L朴素的狼,主要用于距离欧氏距离就是一种L2朴实的野狼,和L0一样通常

以上内容转载在SethChai的博客上,再次感谢博客的共享。 转载请附上原文链接。 https://blog.csdn.net/a 493823882/article/details/80569888扩展点:

在使用机器学习方法解决实际问题时,我们通常将L1或L2的朴素的狼用于正则化,以限制权重大小,减少拟合风险。 特别是在使用梯度下降进行目标函数优化的情况下,

L1和L2的不同L1朴素的狼(L1 norm )是指示装置的各元素的绝对值之和,也有“像L1朴实的野狼一样,L2也可以度量两个向量间的差异”的美称。

例如,如果向量A=[1,- 1,3 ],则a的L1朴素的狼为|1| |-1| |3|。

简单地说:

L1朴素的狼:是x向量的各元素的绝对值之和。

L2素色狼:是x向量各元素平方和的1/2次方,L2素色狼又称为Euclidean素色狼或Frobenius素色狼

Lp的朴素的狼:是x向量的各元素的绝对值的p次方和1/p次方。

L2朴实的野狼通常会被用来做优化目标函数的正则化项,防止模型为了迎合训练集而过于复杂造成过拟合的情况,从而提高模型的泛化能力

在支持向量机的学习过程中,L1朴素的狼实际上是对代价函数求最优解的过程,所以L1朴素的狼的正则化是通过在代价函数中添加L1朴素的狼,使学习得到的结果为度量向量元素的最大值

L1土狼稀疏权重,便于特征提取。 L2朴素的狼可以防止过拟合,提高模型的泛化能力。

稀疏规则算”(Lasso regularization

面试中遇到的,L1和L2正则先验分别遵循什么样的分布,L1是朴素的奇异果分布,L2还是单身的啤酒分布。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。