(ICA独立成份分析)独立成分分析解析.ppt

文档介绍：独立成分分析 ponent Analysis ( ICA ) 齐娟 2007-5-29 主要内容? ICA 定义? ICA 模型? ICA 原理? ICA 算法? ICA 应用? PCA&ICA ICA 定义?定义一:利用很少的先验知识将混合信息分离成独立分量的一种重要方法。?定义二:找到事物的一种合理表示,使得各分量最大化地独立。? 20 世纪八十年代才被提出。 cocktail-party problem ?例子: cocktail-party problem Sources Observations s 1s 2x 1x 2 Mixing matrix Ax = As n sources, m= n observations cocktail-party problem Two Independent Sources Mixture at two Mics 222 121 2 212 1 11 1)( )(sasatx sasatx???? ICA ICA 模型模型( (经典经典) ) ?x j = a j1s 1 + a j2s 2 + .. + a jns n, 对于每一个 jx = As ?条件: s和A均是未知的,只有 x已知?目标: 通过 x估计出 A和s每一个 s i成分统计独立?限制: 每一个成分都不是 Gaussian 分布(实际上未知) 混合矩阵 A为方阵且可逆(这个限制可以放松) ?结论: 估计出 A之后,我们就可以得到 s(s = A -1x) Ambiguities of ICA ?s和A均是未知的,s乘一个标量 k,总可以用 A乘以 1/k 所抵消,即不能唯一确定 s和A。作如下约束: ?S中各个分量的次序不确定 2 { } 1 i E s ? Illustration of ICA ?统计意义下说明 x As ? o x A s ? S各分量相互独立 x各分量不相互独立判断方法:能否从一个分量估计出另一分量的值。边的方向即 A0 列向量。 Illustration of ICA ?通过 x的统计性质,作一些假设的条件下,可以估计出 A和s 统计概念统计概念?独立:两个随机变量 y1和 y2是相互独立的,如果 y1的值不能为 y2提供任何信息,反之亦成立。用概率密度函数描述: 性质:给定两函数 h1 和 h2 有: ?不相关:两随机变量是不相关的,如果?独立的肯定不相关,不相关的未必独立,即独立是比不相关更强的约束。 1 2 1 1 2 2 ( , ) ( ) ( ) p y y p y p y ? 1 1 2 2 1 1 2 2 { ( ) ( )} { ( )} { ( )} E h y h y E h y E h y ? 1 2 1 2 { } { } { } E y y E y E y ?