稀疏性假说的历史(1)稀疏性Sparsity 百度百科
sparsityistheconditionofnothavingenoughofsomething; thepropertyofbeingscantyorscattered; lackingdenseness.[ vocabulary.com ]
稀疏性是一个使用比较广泛的概念,在各个行业领域都有特定的价值。
*a,**数据库:稀疏数据是指二维表中包含很多空值的数据,不是浪费。 只是信息不完整。 电子航空服务、文本挖掘、医学造影图像…
*b,**聚类降维:稀疏数据与一般数据不同,其维数往往非常巨大,且由于大量缺失值的存在,数据信息极不完整。 数据稀疏性在压缩传感、信号/图像处理、大数据分析与处理、机器学习和统计估计等领域得到了广泛的关注和成功。数据恢复意味着将干扰或破坏的数据恢复为实际数据。
*c,**压缩和复原:稀疏信号是指大部分元素为0的信号,与长度相同的普通信号相比,所包含的信息较少。 因此,可以充分压缩稀疏信号,节约存储空间,减少传输量。
*d,**图片||稀疏表示||其他
[转载]如何理解图像信号的稀疏性?
亚马逊dynamo db利用稀疏索引
稀疏表示:用较少的基本信号的线性组合来表示原始信号的大部分或全部。
稀疏表示的意思是什么? 为什么稀疏表示被广泛使用?
浅谈深度学习中潜在的稀疏表达
稀疏性为什么会影响机器学习的计算效率?
粗略的理解是,稀疏性是解决高维数据和有效低维数据之间各种关系的各种角度。 用稀疏矩阵归纳理解。
(2)稀疏矩阵(sparse matrix)
稀疏矩阵(英文: sparse matrix )是数值分析中其元素几乎为零的矩阵。 相反,如果大多数元素不为零,则此矩阵为稠密。 在科学和工程领域求解线性模型时,常常出现大型稀疏矩阵。
参数稀疏有什么实际意义?(1)特征选择(Feature Selection):
稀疏规则化发展的主要原因之一是可以实现特征的自动选择。 一般来说,x i x_i xi的大多数要素,即特征与最终输出y i y_i yi无关,或不提供任何信息。 在最小化目标函数时考虑x i x_i xi这一额外的特征,会得到较小的训练误差,但是在预测新样本时,反而会考虑这些无用的信息,引入干扰正确yIy_I的稀疏化算子是特征自动选择的光荣
(2)可解释性(Interpretability):
另一个受稀疏欢迎的原因是模型很容易解释。 例如,患某种疾病的概率为y,收集的数据x为1000维。 也就是说,有必要寻找这1000个因素是如何影响该病的概率的。 假设这是一个回归模型:
y=w 1x1 w2x 2…w 1000 x 1000 by=w1 * x1w2* x2…w 1000 * x 1000 b * y=w 1x1 w2x 2…w 1000 x 1000 b
(当然,为了将y限定在[ 0,1 ]的范围内,一般会添加Logistic函数。 通过学习,如果最后学习的w只有少量非零因素,例如只有5个非零wi,我们有理由相信这些对应特征在患病分析上提供的信息是巨大的、决策性的。 也就是说,是否患上这种病,只有这五个因素有关,所以医生会更容易分析。 但是,如果1000个wi不都是0,医生面对这1000种因素,就累得不爱了。
疏松假说是指将上述所述的各种事情作为理论基础予以承认。
Reference机器学习中的范数和稀疏