文档介绍：一元线性回归分析与多元线性回归分析
一元线性回归分析
1、简单介绍
当只有一个自变量时,称为一元回归分析(研究因变量与自变量之间的相关关系);当自变量有两个或多个时,则称为多元回归分析(研究因变量与自变量,,…,之间的相关关系)。如果回归分析所得到的回归方程关于未知参数就是线性的,则称为线性回归分析;否则,称为非线性回归分析。在实际预测中,某些非线性关系也可以通过一定形式的变换转化为线性关系,所以,线性回归分析法成为最基本的、应用最广的方法。这里讨论线性回归分析法。
2、回归分析法的基本步骤
回归分析法的基本步骤如下:
搜集数据。
根据研究课题的要求,系统搜集研究对象有关特征量的大量历史数据。由于回归分析就是建立在大量的数据基础之上的定量分析方法,历史数据的数量及其准确性都直接影响到回归分析的结果。
设定回归方程。
以大量的历史数据为基础,分析其间的关系,根据自变量与因变量之间所表现出来的规律,选择适当的数学模型,设定回归方程。设定回归方程就是回归分析法的关键,选择最优模型进行回归方程的设定就是运用回归分析法进行预测的基础。
确定回归系数。
将已知数据代入设定的回归方程,并用最小二乘法原则计算出回归系数,确定回归方程。这一步的工作量较大。
进行相关性检验。
相关性检验就是指对已确定的回归方程能够代表自变量与因变量之间相关关系的可靠性进行检验。一般有检验、检验与检验三种方法。
进行预测,并确定置信区间。
通过相关性检验后,我们就可以利用已确定的回归方程进行预测。因为回归方程本质上就是对实际数据的一种近似描述,所以在进行单点预测的同时,我们也需要给出该单点预测值的置信区间,使预测结果更加完善。
3、一元线性回归分析的数学模型
用一元线性回归方程来描述与之间的关系,即
(=1,2,…,)(2-1)
式中,与分别就是自变量与因变量的第观测值,与就是回归系数,
就是观测点的个数,为对应于的第观测值的随机误差。假设随机误差满足如下条件:①服从正态分布;②的均值为零,即;③的方差等于;④各个间相互独立,即对于任何两个随机误差与,其协方差等于零,即,。
基于上述假定,随机变量的数学期望与方差分别就是
(2-2)
如果不考虑式中的误差项,我们就得到简化的式子
(2-3)
该式称为对的一元回归模型或一元回归方程,其相应的回归分析称为一元线性回归分析。依据这一方程在直角坐标系中所作的直线就称为回归直线。
4、回归参数的估计
回归模型中的参数与在一般情况下都就是未知数,必须根据样本观测数据来估计。确定参数与值的原则就是要使样本的回归直线同观察值的拟合状态最好,即要使得偏差最小。为此,可以采用最小二乘法的办法来解决。对应于每一个,根据回归直线方程式(2-3)可以求出一个,它就就是的一个估计值。估计值与观测值之间的偏差。要使模型的拟合状态最好,就就是说要使个偏差平方与最小为标准来确定回归模型。
为了方便起见,记
,,,
则式(2-1)用矩阵形式表示为
(2-4)
设为误差的负估值,称为的改正数或残差,为回归参数的估值,则可以写出类似于参数平差的误差方程
(2-5)
根据最小二乘原理,求自由极值,得
即 (2-6)
将误差方程(2-5)代入,即得法方程为
(2-7)
记
,,,
,
则
,
于就是可得回归参数的最小二乘估值为
(2-8)
即
参数与的具体表达形式为
(2-9)
求出参数与以后,就可以得到一元线性回归模型
(2-10)
由此,只要给定了一个值,就可以根据回归模型求得一个作为实际值的预测值。
5、精度分析
对于给定的,根据回归模型就可以求出的预测值。但就是用来预测的精度如何,产生的误差有多大就是我们所关心的。这里采用测量上常用的精度指标来度量回归方程的可靠性。