文档介绍：非负矩阵分解的几种方法初窥
1
引论
矩阵分解是实现大规模数据处理与分析的一种有效的工具，非负矩阵分解（non-negative matrix factorization,NMF）算法是在矩阵中所有元素均为非负的条件下对其实现的非负分解。
2
非负矩阵分解的定义
假设处理m个n维空间的样本数据，用表示。该数据矩阵中各个元素都是非负的，表示为X >= 0 。对矩阵 X 进行线性分解，有

其中B 称为基矩阵，C为系数矩阵。若选择r比n小，用系数矩阵代替原数据矩阵，就可以实现对原矩阵的降维
3
非负矩阵的概率模型
将矩阵分解看成如下含线性噪声的线性混合体模型：
其中E为噪声矩阵。进一步，也可以写成
为了求解因子矩阵B，C，考虑如下的最大似然解
假设噪声服从不同的概率分布，就可以得到不同类型的目标函数。
4
一、考虑噪声服从高斯分布
由上式得到：
现令
则最大似然函数解是最小化如下的损失函数：
令并忽略因子1/2和常数项则得到
5
采用传统的梯度法，有：

于是得到如下的加性迭代规则：
如果令加性迭代就成为了乘性迭代规则：
6
式子中的k即为分解矩阵中的r，显然r值越大分解效果越好但同时也就是失去了我们降维的初衷。但降的维数又不能太小，否则会失去样本本来的一些特性。同时根据迭代特性，迭代次数越多分解越精确。
下面我们来看下效果对比。
其中误差是指 Error = X – BC;
7
二、假设噪声服从泊松分布
同高斯分布最大似然函数：
又同理得到加性迭代规则：
设置得到乘性迭代规则：
8
从以上分析可以看到，当考虑不同的噪声类型时，可以得到不同的目标函数用来实现矩阵分解。
下面看下泊松噪声和高斯噪声的对比
从以上分析可以看到，当考虑不同的噪声类型时，可以得到不同的目标函数用来实现矩阵分解。
下面看下泊松噪声和高斯噪声的对比
9
同理得到拉普拉斯噪声的迭代公式：
与高斯噪声效果对比
三、假设噪声服从拉普拉斯分布
10