文档介绍：第10章回归分析
介绍:
1、回归分析的概念和模型
2、回归分析的过程
回归分析的概念
寻求有关联(相关)的变量之间的关系
主要内容:
从一组样本数据出发,确定这些变量间的定量关系式
对这些关系式的可信度进行各种统计检验
从影响某一变量的诸多变量中,判断哪些变量的影响显著,哪些不显著
利用求得的关系式进行预测和控制
回归分析的模型
按是否线性分:线性回归模型和非线性回归模型
按自变量个数分:简单的一元回归,多元回归
基本的步骤:利用SPSS得到模型关系式,是否是我们所要的,要看回归方程的显著性检验(F检验)和回归系数b的显著性检验(T检验),还要看拟合程度R2 (相关系数的平方,一元回归用R Square,多元回归用Adjusted R Square)
回归分析的过程
在回归过程中包括:
Liner:线性回归
Curve Estimation:曲线估计
Binary Logistic: 二分变量逻辑回归
Multinomial Logistic:多分变量逻辑回归
Ordinal 序回归
Probit:概率单位回归
Nonlinear:非线性回归
Weight Estimation:加权估计
2-Stage Least squares:二段最小平方法
Optimal Scaling 最优编码回归
我们只讲前面3个简单的(一般教科书的讲法)
线性回归(Liner)
一元线性回归方程: y=a+bx
a称为截距
b为回归直线的斜率
用R2判定系数判定一个线性回归直线的拟合程度:用来说明用自变量解释因变量变异的程度(所占比例)
多元线性回归方程: y=b0+b1x1+b2x2+…+bnxn
b0为常数项
b1、b2、…、bn称为y对应于x1、x2、…、xn的偏回归系数
用Adjusted R2调整判定系数判定一个多元线性回归方程的拟合程度:用来说明用自变量解释因变量变异的程度(所占比例)
一元线性回归模型的确定:一般先做散点图(Graphs ->Scatter->Simple),以便进行简单地观测(如:Salary与Salbegin的关系)
若散点图的趋势大概呈线性关系,可以建立线性方程,若不呈线性分布,可建立其它方程模型,并比较R2 (-->1)来确定一种最佳方程式(曲线估计)
多元线性回归一般采用逐步回归方法-Stepwise
逐步回归方法的基本思想
对全部的自变量x1,x2,...,xp,按它们对Y贡献的大小进行比较,并通过F检验法,选择偏回归平方和显著的变量进入回归方程,每一步只引入一个变量,同时建立一个偏回归方程。当一个变量被引入后,对原已引入回归方程的变量,逐个检验他们的偏回归平方和。如果由于引入新的变量而使得已进入方程的变量变为不显著时,则及时从偏回归方程中剔除。在引入了两个自变量以后,便开始考虑是否有需要剔除的变量。只有当回归方程中的所有自变量对Y都有显著影响而不需要剔除时,在考虑从未选入方程的自变量中,挑选对Y有显著影响的新的变量进入方程。不论引入还是剔除一个变量都称为一步。不断重复这一过程,直至无法剔除已引入的变量,也无法再引入新的自变量时,逐步回归过程结束。
线性回归分析实例p240
实例:P240Data07-03 建立一个以初始工资Salbegin 、工作经验prevexp 、工作时间jobtime 、工作种类jobcat 、受教育年限edcu等为自变量,当前工资Salary为因变量的回归模型。
先做数据散点图,观测因变量Salary与自变量Salbegin之间关系是否有线性特点
Graphs ->Scatter->Simple
X Axis: Salbegin
Y Axis: Salary
若散点图的趋势大概呈线性关系,可以建立线性回归模型
Analyze->Regression->Linear
Dependent: Salary
Independents: Salbegin,prevexp,jobtime,jobcat,edcu等变量
Method: Stepwise
比较有用的结果:
拟合程度Adjusted R2: 越接近1拟合程度越好
回归方程的显著性检验Sig
回归系数表Coefficients的Model最后一个中的回归系数B和显著性检验Sig
得模型: Salary=-++-
++
曲线估计(Curve Estimation)
对于一元回归,若散点图的趋势不呈线性分布,可以利用曲线估计方便地进行线性拟合(liner)、二次拟合(Quadratic)、三次拟合(Cubic)等。采用哪种拟合方式