文档介绍：独立成分分析法基本原理
1
bjhk
主成分分析简介
主成分分析是将多指标化为少数几个综合指标的一种统计方法。
宗旨:降维
综合变量既要能尽可能多地反映原来变量的信息,又要彼此互不相关
2
bjhk
主成分分析简介
总体:Z=AX ,Z、X均为随机向量,A为线性变换矩阵。
对第i个变量,要使方差最大,且与前面的所有变量均不相关
样本:Z=XA, X为样本数据阵,Z为样本主成分,A为线性变换矩阵。
3
bjhk
主成分分析简介
考虑p维随机向量X(均值为,协方差阵为)的线性变换
4
bjhk
主成分分析简介
对,要使它尽可能多地反映原来变量的信息,最经典的方法就是以它的方差来表达,在限制条件下,方差越大则其包含的信息就越多(其将包含各的方差及协方差)
同时,对于,则不希望再出现所反映过的信息,所以要求
如此类推,…则可解出全部主成分。
5
bjhk
可以证明,就样本数据而言,对样本相关阵
作特征值分解,即可获得以上理论所阐述的主成分
Z=XA
主成分分析简介
6
bjhk
ICA的背景介绍
ICA可以看成是主成分分析与因子分析的延展,它是一种强有力的技术,当经典方法完全失效时,仍能找到支撑观测数据的内在因子。
目的:从多通道测量中得到的有若干独立信源线性组合成的观察信号中,将这些独立成分分解开来。
7
bjhk
8
bjhk
基本ICA模型
变量的设定
S,不可知的真实变量所构成的数据样本
X,通过多个通道观测到的数据样本
Z,对观测数据进行白化(whitening)处理后的数据矩阵
Y,对Z进行线性处理后得到的对S的估计
A,线性变换矩阵,X=AS
B,A的逆,非方阵为广义逆矩阵
9
bjhk
基本ICA模型
可以认为,观测到的n个随机变量,由另外n个随机变量线性组合得到
独立成分必须是非正态的或至少不全是正态的,在正态假设下,直接使用主成分分析或因子分析方法即可达到目的,由相关性的理解,ICA的解法中必然将涉及到高阶累积量(高阶矩构成的统计量)
10
bjhk