(ICA独立成份分析)独立成分分析.ppt

文档介绍：ponent Analysis(ICA)齐娟2007-5-29主要内容?ICA定义?ICA模型?ICA原理?ICA算法?ICA应用?PCA&ICAICA定义?定义一:利用很少的先验知识将混合信息分离成独立分量的一种重要方法。?定义二:找到事物的一种合理表示,使得各分量最大化地独立。?20世纪八十年代才被提出。cocktail-party problem?例子:cocktail-party problemSourcesObservationss1s2x1x2Mixing matrix Ax = Asn sources, m=n observationscocktail-party problemTwo Independent SourcesMixture at two Mics222**********)()(sasatxsasatx????ICA ICA 模型模型((经典经典))?xj = aj1s1 + aj2s2 + .. + ajnsn, 对于每一个jx = As?条件:s和A均是未知的,只有x已知?目标:通过x估计出A和s每一个si成分统计独立?限制:每一个成分都不是Gaussian分布(实际上未知)混合矩阵A为方阵且可逆(这个限制可以放松)?结论:估计出A之后,我们就可以得到s(s= A-1x)Ambiguities of ICA?s和A均是未知的,s乘一个标量k,总可以用A乘以 1/k所抵消,即不能唯一确定s和A。作如下约束:?S中各个分量的次序不确定2{ } 1iE s?Illustration of ICA?统计意义下说明x As?ox A s?S各分量相互独立x各分量不相互独立判断方法:能否从一个分量估计出另一分量的值。边的方向即A0列向量。Illustration of ICA?通过x的统计性质,作一些假设的条件下,可以估计出A和s统计概念统计概念?独立:两个随机变量y1和y2是相互独立的,如果y1的值不能为y2提供任何信息,反之亦成立。用概率密度函数描述:性质:给定两函数h1和h2有:?不相关:两随机变量是不相关的,如果?独立的肯定不相关,不相关的未必独立,即独立是比不相关更强的约束。1 2 1 1 2 2( , ) ( ) ( )p y y p y p y?1 1 2 2 1 1 2 2{ ( ) ( )} { ( )} { ( )}E h y h y E h y E h y?1 2 1 2{ } { } { }E y y E y E y?