文档介绍：线性回归专题
一元线性回归
在客观世界中普遍存在着变量之间关系。变量之间关系通常来说可分为确定性和非确定性两种。确定性关系是指变量之间关系能够用函数关系来表示。另一个非确定性关系即所谓相关关系。比如人身高和体重之间存在着关系，通常来说，人高部分，体关键重部分，但一样高度人，体重往往不相同。人血压和年纪之间也存在着关系，但同年纪人血压往往不相同。气象中温度和湿度之间关系也是这么，这是因为我们包含变量（如体重、血压、湿度）是随机变量，上面所说变量关系是非确定性。回归分析是研究相关关系一个数学工具。它能帮助我们从一个变量取得值去估量另一变量所取值。
（一）一元线性回归 设随机变量和之间存在着某种相关关系。这里，是能够控制或能够正确观察变量，如年纪、试验时温度、施加压力、电压和时间等。换句话说我们能够随意指定个值。所以我们干脆不把看成随机变量，而把它看成一般变量。本章中我们只讨论这种情况。
因为是随机变量，对于每一个确定值，有它分布。若数学期望存在，则其取值随取值而定，即数学期望是函数，记为或。称为相关回归。因为大小在一定程度上反应在处随机变量观察值大小，所以假如能设法经过一组样原来估量，那么，在一定条件下我们就能处理以下问题：在给定置信度下，估量出当取一定值时，随机变量取值情况，即所谓估计问题；和在给定置信度下，控制自变量取值范围，使在给定范围内取值，即所谓控制问题。
我们对于、取定一组不完全相同值，作独立试验得到对观察结果
，
其中是处对随机变量观察结果。这对观察结果就是一个容量为样本。我们首先要处理问题是怎样利用样原来估量
相关回归。为此，首先需要推测形式。在部分问题中，我们能够由专业知识知道形式。不然，我们可将每对观察值在直角坐标系中描述出它对应点，这种图称为散点图。散点图能够帮助我们初略地看出形式。
例1 为研究某一化学反应过程中，温度对产品得率影响，测得数据以下。
温度
100
110
120
130
140
150
160
170
180
190
得率
45
51
54
61
66
70
74
78
85
89
这里自变量是一般变量， 是随机变量。画出散点图图9-2所表示。由图大致看出含有线性函数形式。
图9-2
设相关回归为。利用样原来估量问题称为求相关回归问题。尤其，若为线性函数：，此时估量问题称为求一元线性回归问题。本节我们只讨论这个问题。
我们假定对于（在某个区间内）每一个值有
，
其中及全部是不依靠于未知参数。对作这么正态假设，相当于假设
， （）
其中未知参数及全部不依靠于。（）式称为一元线性回归模型。
假如由样本得到（）式中估量，则对于给定，我们取做为
估量。方程
称为相关线性回归方程或回归方程，其图形称为回归直线。
思索：
回归模型和回归方程有何异同？
（二）估量 取个不全相同值作独立试验，得到样本
。由（）式，得
，，各相互独立。 （）
于是，。且由独立性，知联合密度为
（）
现用极大似然估量法来估量未知参数，。对于任意一组观察值，（）式就是样本似然函数。显然，要取最大值，只要（）式右端方括弧中平方和部分为最小，即只需函数
（）
取最小值。
注意：
假如不是正态变量，则直接用（）式估量未知参数，，使得观察值和偏差平方和为最小。这种方法叫最小二乘法。它是求经验公式一个常见方法。若是正态变量，则最小二乘法和极大似然估量法给出相同结果。
取分别相关，偏导数，并令它们等于零：
（）
得方程组
（）
（）式称为正规方程组。为了和多元线性回归结合，设样本为
则正规方程组也能够表示为：
若用矩阵表示，则
那么
正规方程组可表示为
因为不全相同，正规方程组系数行列式
即
故（）式有唯一一组解。解得极大似然估量为
（）
于是，所求线性回归方程为
（）
若将代入上式，则线性回归方程变为
（）
（）表明，对于样本观察值，回归直线经过散点图几何中心。
以后我们将视方便而使用（）或（）。
为了计算上方便，我们引入下述记号：
这么，估量可写成
（）
（三）估量 ，称为处残差，平方和
称为残差平方和。
残差平方和服从分布：
（）
于是 ，即，