文档介绍：第三节协方差及相关系数
协方差
相关系数
量E{ [X-E(X)][Y-E(Y)] }称为随机变量X和Y的协方差, 记为 cov(X,Y) , 即:
(4) cov(X1+X2, Y) = cov(X1, Y) + cov(X2, Y)
(1) cov(X, Y) = cov(Y, X)
一、协方差(covariance)
2. 简单性质:
(2) cov(aX, bY) = ab cov(X, Y), a, b 是常数
cov(X,Y)=E{ [X-E(X)][Y-E(Y)] }
1. 定义:
(3) cov(C, X) = 0, C 是常数
cov(X,Y)=E(XY) -E(X)E(Y)
可见, 若 X 与 Y 独立, 则cov(X, Y) = 0.
3. 计算协方差的一个简单公式
cov(X, Y)=E{ [X-E(X)][Y-E(Y)] }
=E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y)
=E(XY)-E(X)E(Y)
即:
特别地:
4. 随机变量和的方差与协方差的关系
D(X±Y)= D(X)+D(Y) ± 2cov(X,Y)
二、相关系数(correlation)
为随机变量 X 和 Y 的相关系数.
1. 定义: 设 D(X)>0, D(Y)>0, 称:
在不致引起混淆时, 记ρXY 为ρ.
协方差的大小在一定程度上反映了X 和Y 相互间的关系, 但它还受 X 与Y 本身度量单位的影响. 例如:
cov(kX, kY)=k2cov(X, Y)
为了克服这一缺点, 对协方差进行标准化, 这就引入了相关系数.
易知: E(X*)=0, D(X*)=1;
E(Y*)=0, D(Y*)=1;
(标准协方差)
2. 相关系数的性质:
2) X 和 Y 独立时, ρ=0(此时称X 和 Y 不相关), 但其逆不真.
证:由于当X 和Y 独立时, cov(X,Y)= 0.
但由ρ=0 并不一定能推出 X 和 Y 独立.
若 X 与 Y 独立, 则 X 与 Y 不相关.
但 X 与 Y 不相关, 不一定能推出 X 与 Y 独立.
事实上, X的密度函数:
反例: 设 X服从(-1/2, 1/2)内的均匀分布, 而 Y=cosX,
不难求得: cov(X,Y)=0,
因而ρ=0,
即 X和 Y不相关.
但Y 与X 有严格的函数关系,
即 X 和 Y 不独立.
存在常数 a, b(b≠0),
使 P{ Y=aX+b }=1,
即: X 和 Y 以概率 1 线性相关.
相关系数刻划了X 和Y 间“线性相关”的程度.
若ρ= 0, Y 与 X 无线性关系;
可见, 若ρ= ±1, Y 与 X 有严格线性关系;
若 0 < |ρ| < 1,
|ρ|的值越接近于1, Y 与 X的线性相关程度越高;
|ρ|的值越接近于0, Y 与 X的线性相关程度越弱.
(称X 和 Y 完全相关)
(称X 和 Y 不相关)
三、原点矩中心矩
1. 定义: 设 X 和 Y 是随机变量,
称它为 X 的 k 阶原点矩,简称 k 阶矩;
称它为 X 的 k 阶中心矩.
可见, 均值 E(X)是 X 的一阶原点矩,
方差 D(X)是 X的二阶中心矩。
(k-th raw moment)
(k-th central moment)
可见, 协方差 cov(X, Y)是 X 和 Y 的二阶混合中心矩.
称它为 X 和 Y 的 k+l 阶混合(原点)矩.
称它为 X 和 Y 的 k+l 阶混合中心矩.
2. 定义: 设 X 和 Y 是随机变量,
((k+l)-th mixed raw moment)
((k+l)-th mixed central moment)
四、协方差矩阵
将二维随机变量(X1, X2) 的四个二阶中心矩:
排成矩阵的形式:
称此矩阵为(X1, X2) 的协方差矩阵(covariance matrix).
这是一个对称矩阵