文档介绍：第二章统计分析
多元线性回归与Logistic回归
Ⅰ多元线性回归
1 多元线性回归
多元线性回归是简单线性回归的直接推广,其包含一个因变量和二个或二个以上的自变量。
简单线性回归是研究一个因变量(Y)和一个自变量(X)之间数量上相互依存的线性关系。而多元线性回归是研究一个因变量(Y)和多个自变量(Xi)之间数量上相互依存的线性关系。
简单线性回归的大部分内容可用于多元回归,因其基本概念是一样的。
2 多元线性回归模型
设有自变量x1,x2,…,xp和因变量Y以及一份由n个个体构成的随机样本(x1i,x2i,…,xpi,,,Yi),且有如下关系:
y =B0+B1x1+B2x2+…+Bp xp+(模型)
B0、B1、B2和Bp为待估参数,为残差。
由一组样本数据,可求出等估参数的估计值b0、b1、b2和bp,,得到如下回归方程:
ŷi =b0+b1x1+b2x2+…+bp xp
由此可见,建立回归方程的过程就是对回归模型中的参数(常数项和偏回归系数)进行估计的过程。
3 多元线性回归模型的解析表达式
4 多元模型的矩阵表达式
矩阵形式
5 参数的最小二乘估计
与简单回归类似,我们寻求参数B0、B1、B2和Bp的适宜估计数值b0、b1、b2和bp,,使实际观察值和回归方程估计值之间残差平方和最小,
即Q=(yi -ŷi)2
= (yi-b0-b1x1i - b2x2i-…-bpxpi)2
对b0、b1…、bp分别求偏导数,今偏导数为零可获得P+1个正规方程,求解正规方程可得待估参数值。
得到下列方程组
求参数估计值的实质是求一个k+1元方程组