主题:硬阈值函数解读
1、硬阈值函数的符号硬阈值(硬阈值)硬阈值(软阈值)不像软阈值(软阈值)那么常见。 这可能是因为硬阈值解决的问题不凸。 硬阈值和软阈值由同一文献提出,硬阈值公式为文献【1】式(11 ) :
第一次遇到硬阈值(HardThresholding )是在文献【2】中:
在调查软阈值(Soft Thresholding )的过程中,我们看到发现了文献【3】,进而提到了文献【4】。
文献【4】中提到的Fig 1如图所示。
硬门槛符号到底代表什么意思? 以文献【1】的符号为例,明确地说是这样的:
这里,w是变量,是阈值。
2、在硬阈值(HardThresholding )函数的作用明确了硬阈值(HardThresholding )的符号表示后,接下来说明其作用。 这里主要参考软阈值的推导过程,自己仔细考虑推导。
“硬阈值”(HardThresholding )可解决以下优化问题:
其中:
||X||0求出向量x的零xbdss、即向量x中非零元素的个数。 根据xbdss的定义,可以分解上述优化问题的目标函数。
这里,分割项中符号|x|0的意思是
现在,通过求解n个独立的形式,例如函数
已经过优化以解决问题。 将f(x )再写如下
已知对于x0的部分,其最小值由x=b获得,最小值为。 现在的问题是和b2哪个更小? 最小的为函数f(x )的最小值。 求解不等式b2得到
此时最小值以x=0取得;
求解不等式b2得到
此时最小值以x=b取得;
于是,我
与上一个硬阈值(Hard Thresholding )进行比较,找到了吗? 设上式中的b为变量,sqrt()为阈值,则上式为硬阈值(Hard Thresholding )的公式。
这样,就可以得到优化问题了
的解是
注意:该表达式是“硬阈值”(Hard Thresholding )矩阵形式,其中b是向量,应该对每个元素执行硬阈值函数。
3、硬阈值变形,优化问题比较突出
目标函数乘以常系数不影响极值点的获取,因此与优化问题等价
此时的解是。
4、硬阈值(硬阈值)的MATLAB码硬阈值(硬阈值)的函数代码可以专门针对优化问题编写
MATLAB函数代码如下(参考文献【5】倒数第2页) :
function [ hard _ thresh ]=hard thresholding (b,lambda ) sel=(ABS ) sqrt ) lambda ) ); hard_thresh=b.*sel; 结束
请注意。 这个写法对应了第一个优化问题。
但是,我个人觉得应该写成这样的一般形式:
函数[ x ]=hard (b,t ) sel=(ABS ) b ) t ); x=b.*sel; 结束
然后,要解决优化问题
只需调用hard(b,sqrt()) ); 如何解决优化问题
只需调用hard(b,sqrt )2*)。
5、
硬阈值(HardThresholding)测试代码硬阈值(Hard Thresholding)要解决的优化问题目标函数是非凸的,不太常见,手边目前没有其它函数求解这个问题,因此测试代码只能测一下这个函数编写的正确与否了:
clear all;close all;clc; b = [-0.8487 -0.3349 0.5528 1.0391 -1.1176]';lambda = 0.5;x1=hardthresholding(b,lambda)x2=hard(b,sqrt(lambda))fprintf('nError between hardthresholding and hard = %fn',norm(x1-x2))
这里就不给出输出结果了。可以运行一下,从输出结果来看,函数的功能是正确的。
另外,可以在matlab里输入以下命令看一个软阈值的图像:
x=-5:0.01:5;T=1;y=hard(x,T);plot(x,y);grid;
6、结束语
终于搞明白了硬阈值和软阈值,在文献【3】最后作者提到“哎,数学不好害死人啊,什么时候才能达到yldxtz们的高度啊”,相信很多人会有同样的感觉吧。但转念一想,我们不可能把矩阵分析、数值分析、泛函分析、最优化、组合数学等(脑子里就想到了这么多)所有的数学基础课内容都学完再去搞研究的,边研究边学习,哪儿不会了补哪儿才是最正常的模式吧……
再说了,如果让你单纯的学数学基础,你可能会感觉非常无聊,可能还会经常抱怨一句:学这些枯燥的数学有什么用呢?
还是继续前进吧,想信自己,路会越走越宽的……
7、参考文献【1】Donoho D L, JohnstoneJ M. Ideal spatial adaptation by wavelet shrinkage[J]. Biometrika, 1994, 81(3):425-455.
【2】Wright SJ, Nowak R D, Figueiredo M A T. Sparse reconstruction by separableapproximation[J]. IEEE Transactions on Signal Processing, 2009, 57(7):2479-2493.
【3】http://blog.sina.com.cn/s/blog_6d0e97bb01015vq3.html
【4】Elad M,Figueiredo M A T, Ma Y. On the Role of Sparse and Redundant Representations inImage Processing[J]. Proceedings of the IEEE, 2010, 98(6):972-982.
【5】http://www.docin.com/p-553314466.html