文档介绍：精品资料，欢迎大家下载！
以上资料仅供参考，如有侵权，留言删除！
回归分析
1 线性回归模型：
Y为随机变量〔可观测〕,受p-1个因素Xi,为,•••Xp-£的均值为0,方 差a 2>0 〔即正态分布£ ~n〔0,)
'是X的协方差矩阵.
求得其特征值为 入Q入2^…入p > 0,对应的单位正交特征向量 为e1 ,&,•••, ep
可证明：Var(Yi)= =入i =入i
Cov(Y i, Yj) = =0
那么 Y= i=1,2,….,p 即 l=e
求标准化变量的主成分
由于X的量纲不同,各变量的分散程度差异可能很大,用 景主成分会优先
照顾方差大的变量,这时主成分 Y的奉献率和和其与各 Xi的相关系数都会有偏
,使其在 0~1之间. 步骤：
令 一- i=1,2,…,p
其中 i=E(Xi), =Var(Xi)
此时X*的协方差矩阵便是 X的相关矩阵 尸(pij) p*p ,其中
pij=E ( ) =Cov(X,为)/
*
=( X
此时
=p
评估主成分
主成分的协方差矩阵和总方差：
Cov( Y )=Cov( P TX )= P TZP=Diag(入 1,••…,入 p) 其中 P=( e 1 ,e2,…,ep)
即主成分分析是把 p个原始变量X〔,X2,……Xp的总方差分解成p个不相关变
量丫1,丫2, Yp的方差之和.
评估参数：
奉献率：描述了第k个主成分提取的信息占总信息的份额. 入
累计奉献率：
前m个Y的奉献率之和. 入
通常选择m<p,使前m个主成分累计奉献率到达较高比例〔如 80% 〕.
Yi, Xj的相关系数 : Wi,Xj = = 它给出了主成分 Yi与原
入 —
精品资料，欢迎大家下载！
以上资料仅供参考，如有侵权，留言删除！
始变量Xj的关联性的度量.
样本主成分求法
在实际问题中,习〔或p〕未知,需要通过样本估计.
样本协方差矩阵：S=〔句〕p*p= —— 作为对项勺估计.
r=〔门〕p*p = 作为对p的估计.
标准化的 =( —, — , , — )T i=1,2, ,n
因子分析
1 原理
适用范围
因子分析是主成分分析的推广,
方差矩阵 现内部依赖关系.
主成分分析是探索性因子分析, 而因子分析是验证性因子分析. 首先要构建模型,先确
定公共因子,可通过 参数估计 确定.
因子分析模型：
多个变量综合成少数因子,用因子表达原始变量〔这点与主成分刚好相反,主成分是 用原始变量表达主成分〕.
x=AF+ £
T
其中,X=〔Xi,X2,…,Xp〕 为原始变量；
F=〔Fl,F2, ... ,Fm〕T为公共因子；
A为一个m行p列的矩阵,为 载荷矩阵,其中元素为 因子载荷；
&为变量x的特殊因子.
正交因子模型：
Xw =AF+ 宅
精品资料，欢迎大家下载！
以上资料仅供参考，如有侵权，留言删除！
其中,X有:E(X)= ,Cov( X)= E
F满足：E ( F) =0, Cov ( F) =1 m (即F的各分量方差为1 ,且互不相关)
£ 与 F 互不相关,且满足：E( £ ) =0, Cov( £ ) =diag (, ,
易证： # Cov( X)=E[( X- )( X- )T]
=E[( AF+ £ )( AF+ £ )T]= ACov(F)AT+Cov( £ )
=AAT+D
Cov(X,F)=[( X-E(X))( F-E( F)) T]
X- ) FT]= AE (FFT) +E( £ FT) A
变量标准化(使得
X*的协方差=X的相关矩阵R)
(3-2)
=E[(
精品资料，欢迎大家下载！
以上资料仅供参考，如有侵权，留言删除！
那么有 R=AAr+D
参数评估
因子载荷aij aij=Cov(X,Fj)
对于标准化X*,aj=0j 反映X与Fj之间的相关性
共同度
即载荷矩阵各行元素平方和
反映X对所有公共因子 =1时,表示X完全能够由公共因子 线性组合表示.
Xi的方差a ii
ii= i=1,2,••…,p
为公因子方差, 剩余方差(由特殊因子 & i产生).
公共因子的方差奉献
j=1,2,••…,m
表示Fj对各个变量X的方差奉献和,衡量 Fj的重要性.
参数估计方法(因子分析步骤)
常用的有主成分法,主因子法,,不再赘述.
1)
2)
3)
4)
5)
主因子法
：特