本文是博主对网上一些资料的整理学习，会附上相关原文地址，一部分内容来自百度百科。
所阅读论文《信号的稀疏表示及其应用研究_陈浪》
原文地址
http://www.cnblogs.com/Tavion/p/5166695.html#sec-2
1、信号的稀疏表示的介绍
信号稀疏表示是过去近20年来信号处理界一个非常引人关注的研究领域。信号稀疏表示的目的就是在给定的超完备字典中用尽可能少的原子来表示信号，可以获得信号更为简洁的表示方式，从而使我们更容易地获取信号中所蕴含的信息，更方便进一步对信号进行加工处理，如压缩、编码等。信号稀疏表示方向的研究热点主要集中在稀疏分解算法、超完备原子字典、和稀疏表示的应用等方面。
1993年，Mallat基于小波分析提出了信号可以用一个超完备字典进行表示，从而开启了稀疏表示的先河，经研究发现，信号经稀疏表示后，越稀疏则信号重建后的精度就越高，而且稀疏表示可以根据信号的自身特点自适应的选择合适的超完备字典。对信号稀疏表示的目的就是寻找一个自适应字典使得信号的表达最稀疏。
稀疏分解算法首先是由Mallat提出的，也就是众所周知的匹配追踪算法（Matching Pursuit,MP）算法，该算法是一个迭代算法，简单且易于实现，因此得到了广泛的应用。随后，Pati等人基于MP算法，提出了正交匹配追踪算法（Orthogonal Matching Pursuit,OMP），OMP算法相较于MP算法，收敛速度更快。在以后的研究中，为了改进OMP算法，学者也提出了各种不同的其它算法，例如：压缩采样匹配追踪（Conpressive Sampling Matching Pursuit,CoSaMP）算法、正则化正交匹配追踪（Regularized Orthogonal Matching Pursuit,ROMP）算法、分段式正交匹配追踪（Stagewise OMP,StOMP）算法、子空间追踪（Subspace Pursuit,SP）算法等等。
信号稀疏表示的两大主要任务就是字典的生成和信号的稀疏分解，对于字典的选择，一般有分析字典和学习字典两大类。常用的分析字典有小波字典、超完备DCT字典和曲波字典等，用分析字典进行信号的稀疏表示时，虽然简单易实现，但信号的表达形式单一且不具备自适应性；反之，学习字典的自适应能力强，能够更好的适应不同的图像数据，在目前的研究中，常用的学习字典的方法包括：Engan于1999年提出的最优方向（Method Of Optimal Directions,MOD）算法，该算法是学习字典的鼻祖，它的字典更新方式简单，但与此同时，它的收敛速度很慢，在该算法的基础上，一些研究人员同时还提出了一些其它的字典学习算法，如FOCUSS字典学习算法，广义PCA（Generalized PCA）算法等等，Micheal Elad也于2006年提出了基于超完备字典稀疏分解的K-SVD算法，该算法相较于MOD算法，收敛速度有了很大的提高，但是随着噪声的逐渐加大，使用该算法进行去噪后的图像因纹理细节的丢失会产生模糊的效果。Mairal于2010年提出了一种online字典学习算法，该算法速度较快且适用于一些特殊的信号处理，例如视频信号，语音信号等等。
2、
2.1绪论
很多信息是冗余的，传统的方法是使用完备字典（如离散余弦变换，小波变换）来表示一个信号，这种方法能压缩，但仍需较多的数据。稀疏表示是把一个向量信号表示成完备字典中少数原子的线性组合。
2.2理论基础
一个信号可以稀疏地表示为冗余字典中少量原子的线性组合。
字典就是一个矩阵（n维），这个矩阵比之前的高维数据（k维）的维度低得多。所谓的稀疏表示就是求这个系数的矩阵。为了实现稀疏，稀疏矩阵的很多值，都是0。
因为字典C是过完备的，所以这种表示存在不唯一性。稀疏表示的目的就是寻找一种表示其表示系数中零分量最多。
稀疏求解的方法
通常情况下，构造一个目标函数，让A里面尽可能的出现0，这里就出现了L0范数的概念。但开始一般用L1范数。L0范数表示向量中非零元素的个数。L0范数优化求解问题属于NP难问题，用一些BMP、OMP等效率很低。着急的高山提出了近似求解该问题的方案，证明了在求解向量足够稀疏的情况下，L0范数优化问题等价于L1范数优化问题，即各向量绝对值之和。
字典构造的方法
信号稀疏表示的重要因素是过完备字典，因此字典的构造非常关键。目前的字典构造主要分为两种形式：分析型字典与学习型字典。