文档介绍：不想飞翔，不是因为没有翅膀，而是失去了梦想
独立成分分析(I ndependent Com ponent Analysis)
1 .问题：
1、 上节提到的PCA是一种数据降维的方法，但是只对符合高斯分布的样本点比较有效，那 么对于其他分布的样本，有没有主元分解的方法呢？
2、 经典的鸡尾酒宴会问题(cocktail party problem )。假设在party中有n个人，他 们可以同时说话，我们也在房间中一些角落里共放置了 n个声音接收器(Microphone)用来记 录声音。宴会过后，我们从n个麦克风中得到了一组数据...x^)；t = 1...m),
i表示采样的时间顺序，也就是说共得到了 m组采样，每一组采样都是n维的。我们的目标是 单单从这m组采样数据中分辨出每个人说话的信号。
将第二个问题细化一下，有n个信号源ae 每一维都是一个人的声
音信号，每个人发出的声音信号独立。A是一个未知的混合矩阵(mixing matrix),用来组合 叠加信号s,那么
x = As
x的意义在上文解释过，这里的x不是一个向量，是一个矩阵。其中每个列向量是必七 那』=如⑴
表示成图就是
Blind Source Separation (BSS)
这张图来自
-interests/research-interests-erp-ana lysis/blind-source-separation-bss-of-erps-using-independent-component-an alysis- ica/
勺每个分量都由巡的分量线性表示。A和s都是未知的，x是已知的，我们要想办法根 据x来推出So这个过程也称作为盲信号分离。
令W =AT,那么= WV
将W表示成
——
W= : ^
T
L — Wn — J
其中wf elV1,其实就是将写成行向量形式。那么得到：
砂"=wj *（玲
I CA 的不确定性（I CA am biguities）
由于W和S都不确定，那么在没有先验知识的情况下，无法同时确定这两个相关参数。比 如上面的公式S=WX。当W扩大两倍时，S只需要同时扩大两倍即可，等式仍然满足，因此无 法得到唯一的S。同时如果将人的编号打乱，变成另外一个顺序，如上图的蓝色节点的编号变为 3,2,1,那么只需要调换A的列向量顺序即可，因此也无法单独确定s。这两种情况称为原信号 不确定。
还有一种ICA不适用的情况，那就是信号不能是高斯分布的。假设只有两个人发出的声音 信号符合多值正态分布，SzNQJJ）, |是2* 2的单位矩阵，s的概率密度函数就不用说了吧， 以均值0为中心，投影面是椭圆的山峰状（参见多值高斯分布）。因为x = 因此，x也是高 斯分布的，均值为0,协方差为常9 =£3跆尸由叮
令R是正交阵= A' = ARO如果将A替换成A'。那么XT = Jlr3o s分布没
变，因此x'仍然是均值为0,协方差
2|>'8问=EN%= E 口诳^AAR7A7 = AA7o
因此，不管混合矩阵是A还是A', x的分布情况是一样的，那么就无法确定混合矩阵，也 就无法确定原信号。
密度函数和线性变换
在讨论ICA具体算法之前，我们先来回顾一下概率和线性代数里的知识。
假设我们的随机变量S有概率密度函数（连续值是概率密度函数，离散值是概率）。 为了简单，我们再假设s是实数，还有一个随机变量x=As, A和x都是实数。令P*是x的概 率密度，那么怎么求羽里？
令首先将式子变换成然后得到= Pi（Ws）,求解完毕。可惜这种
方法是错误的。比如s符合均匀分布的话（8zUngTO[0，l]|）,那么S的概率密度是
PsCsj = 1（0 现在令A=2,即x=2s,也就是说x在[0,2]±均匀分布，可知
对=0,5。然而，前面的推导会得到Px<X）= ） = lo正确的公式应该是
PxCO = Pr^)|W|
推导方法
PxCO =咬 CO =姓 WO = ps(^x)FI
更一般地，如果s是向量，A可逆的方阵，那么上式子仍然成立。
ICA算法
ICA算法归功于Bell和Sejnowski,这里使用最大似然估计来解释算法，原始的论文中使 用的是一个复杂的方法Infomax principaL
我们假定每个会有概率密度P&那么给定时刻原信号的联合分布就是
p(a) =
这个公式代表一个假设前提：每个人发出的声音信号各自独立。有了 p(s),我们可以求得 P(x)
poo=pSG^x)iw I=iwi n s 险(明喝
左边是每个采样信号X (n维向量)的概