文档介绍：独立成分分析ponent Analysis(ICA)
齐娟
2007-5-29
主要内容
ICA定义
ICA模型
ICA原理
ICA算法
ICA应用
PCA&ICA
ICA定义
定义一:利用很少的先验知识将混合信息分离成独立分量的一种重要方法。
定义二:找到事物的一种合理表示,使得各分量最大化地独立。
20世纪八十年代才被提出。
cocktail-party problem
例子:cocktail-party problem
Sources
Observations
s1
s2
x1
x2
Mixing matrix A
x = As
n sources, m=n observations
cocktail-party problem
Two Independent Sources
Mixture at two Mics
ICA 模型(经典)
xj = aj1s1 + aj2s2 + .. + ajnsn, 对于每一个 j
x = As
条件:s和A均是未知的,只有x已知
目标: 通过x估计出A和s
每一个si成分统计独立
限制: 每一个成分都不是Gaussian分布(实际上未知)
混合矩阵A为方阵且可逆(这个限制可以放松)
结论:估计出A之后,我们就可以得到s(s= A-1x)
Ambiguities of ICA
s和A均是未知的,s乘一个标量k,总可以用A乘以
1/k所抵消,即不能唯一确定s和A。
作如下约束:
S中各个分量的次序不确定
Illustration of ICA
统计意义下说明
S各分量相互独立
x各分量不相互独立
判断方法:能否从一个分量估计出另一分量的值。边的方向即A0列向量。
Illustration of ICA
通过x的统计性质,作一些假设的条件下,可以估计出A和s
统计概念
独立:两个随机变量y1和y2是相互独立的,如果y1的值不能为y2提供任何信息,反之亦成立。
用概率密度函数描述:
性质:给定两函数h1和h2有:
不相关:两随机变量是不相关的,如果
独立的肯定不相关,不相关的未必独立,即独立是比不相关更强的约束。