文档介绍：贝叶斯追踪算法的稀疏表示
寻找线性方程组的欠定系统的解决方案已经被广泛应用在信号处理领域中,这个问题已经涉及到多种领域, 比如有些应用到盲源分离(BSS),稀疏成分分析(SCA),解码和压缩传感(CS)等。
这个问题可以用不同的方法来定义,比如稀疏表示, SCA或者压缩传感(CS),:
其中x是一个维的向量,y是一个维的稀疏系数向量, 是一个维的矩阵,称作冗余字典。e是一个维的误差向量。,其主要目的是通过信号和冗余字典找到稀疏系数。
在不同的应用中,这些向量的解释是不一样的,但是他们的模型都是一样的。例如,在压缩传感(cs)中, 是一个测量矩阵,x是信号的少数测量值,y是真实信号的稀疏表示。在稀疏成分分析(SCA)中, 是一个混合矩阵,x是混合向量而y是源向量。
寻找稀疏解,也就是说找一个非零元素数量最少的解,这是一个NP难的组合问题。在这里不同的方法被提出来解决这个问题。可以把这些方法分为两个类别:优化的方法和贪婪的方法。优化的方法是把问题转换成一个优化问题,然后用不同的方法来解决这个问题。贪婪的方法是通过一个算法直接找到有效的系数。在第一类方法中最成功的一点是基追踪(BP),用范数来代替范数来解决凸问题。它可以通过线性规划的方法来实现。另外一种方法是FOCUSS算法,这种方法利用范数代替范数。
在贝叶斯框架下,一种新的期望最大化(EM)算法和贝叶斯压缩传感(BCS)的算法被提出来解决这个问题。第二类方法是通过迭代算法得到有效的系数(也就是指非零)。通常该方法是利用信号与冗余字典的原子的相关性确定哪个系数是有效的。这些迭代算法可以是匹配追踪(MP),正交匹配追踪(OMP),Stage-wise OMP (StOMP),梯度追踪(GP)。我们所提出的方法可以被认为是迭代检测估计(IDE)中的改进,在使用简单的贪婪算法的同时使用贝叶斯工具来得到有效原子的最佳选择。
2系统模型
在模型(1)中的误差向量是被假定为均值为零,协方差矩阵为的高斯分布. 在模型中,系数无效的概率为P,有效的概率为1-P(由信号的稀疏性我们可以知道p应该趋近于1的)
在无效的情况下系数的值都为零,有效的情况下系数的值可以通过高斯分布来获得。我们称这种模型为尖模型,它是伯努利高斯模型的一个特殊情况。
这适合于一个信号的稀疏表示,而这个信号可以看成是冗余字典的一些原子的组合,所以系数的概率密度是:
在这个式子中每个系数可以写成其中是一个二进制变量(符合二项分布) 是第i个高斯分布系数的振幅。每个代表了对应系数的有效性。
因此其中
表示有效系数的数目,所以系数向量可以写成, 因此我们可以知道和分别代表有效向量和振幅向量。
3贝叶斯追踪算法
在稀疏恢复算法中的主要任务是确定哪个原子在信号的稀疏表示中是有效的,在有些算法中(如MP)它是由相关最大化来确定的,也有些算法(如StOMP)它是通过相关性的比较来确定的。
但是,在这里我们想通过贝叶斯假设检验的方法来实现。为了发展贝叶斯假设检验的追踪算法,我们可以把式(1)写成:
是冗余字典的列,所以原始信号与冗余字典的相关性可以表示成:
式中, 且原子都是单位化了的。想通过贝叶斯假设检验的方法来确定第j个原子的有效性,我们还应计算出的后验概率,分别表示第j个原子的有效和无效。为了得到一个简化的算法比如追踪算法,假设我们知道其它系数的预先估计值(除第j个系数外)于是(7)式可写成: