文档介绍：第五讲 空间回归模型
经典线性回归
空间回归
地理加权回归（GWR）
1. 概述
2. 经典线性回归模型的形式
3. 经典线性回归模型的假设
4. 估计方法：OLS
一、经典线性回归
The concept of regr模型提出若干基本假设。
一、经典线性回归
假设1：回归对于参数是线性的。
假设2：解释变量 X 在重复抽样下是确定性的，不是随机变量，即 Y 仅有的随机性来自误差项；而且解释变量之间具有变异性、互不相关。
这说明经典回归分析是条件回归，即基于给定X的回归。
经典线性回归模型的基本假设
假设3： e 服从零均值、同方差、零协方差的正态分布
ei ~N(0, 2 ) i=1,2, …,n
即 E(ei)=0 i=1,2, …,n
Var (ei) =E(ei2) =2 i=1,2, …,n
Cov(ei, ej)=0 i≠j i, j= 1,2, …,n
同方差性(Homoscedasticity)
独立性
e在不同样本点之间独立，不存在序列相关。
同方差： 点模式中的等概率？
零协方差：点模式中的独立性？
异方差性：违背假设3
若随机误差项序列不具有同方差性(Homoscedasticity)， 而出现异方差性(Heteroscedasticity) ，即对于不同的样本点，随机误差项的方差不再是常数。
假设4：随机误差项 e 与解释变量X之间不相关：
Cov(Xi, ei)=0 i=1,2, …,n
把总体回归函数(PRF) 描述为 X 和 的函数，假设它们对Y具有互不相关的影响。如果X 和 相关，情况则不同。
Since E(Xi) is nonstochastic
Since E( i) = 0
By assumption
Since E( i) = 0
以上假设称为线性回归模型的经典假设或高斯假设，满足该假设的线性回归模型，也称为经典线性回归模型（CLRM）。
The method of OLS is attributed to the German mathematician Carl Friedrich Gauss.
Under certain assumptions, it has some very attractive statistical properties, making it the most attractive and powerful methods of regression analysis.
注意：所采用的估计方法与假设紧密相关。
4. 参数的普通最小二乘估计（OLS）
一、经典线性回归
给定一组样本值（Xi, Yi）（i=1,2,…n）要求样本回归函数尽可能好地拟合这组值。普通最小二乘法（OLS）的判断标准是：误差平方和（Sum of the Squared Differences，SSE）最小。即：
OLS Graphically
Min：
根据取极值的必要条件，分别对 和 求偏导数，并令其等于0，得：
即：
正规方程组
或：
（1）
（2）
由于x1、x2，……xn是不完全相等的n个常数（对应假设是什么？），知正规方程组的系数行列式
故正规方程组有唯一的解，即：
一元线性回归的概率模型：
一元线性回归的矩阵表示：
OLS的矩阵求解：
Y是n×1 矩阵
X是n×2 矩阵
b是2×1 矩阵
e是n×1 矩阵
为什么不能用 求解？
令：
令：
（即：eTe，误差平方和）
（ ∵ X T X满秩）
（）
对一元线性回归：
与前述正规方程组相同。
最小二乘估计量的性质：
当模型参数估计出后，需考虑参数估计值的精度，即考察参数估计量的统计性质。可从如下几方面考察：
无偏性：均值或期望值等于总体的真实值
有效性：在所有线性无偏估计量中具有最小方差
一致性：样本容量趋于无穷大时，依概率收敛于总体的 真值；
高斯-马尔可夫定理：在给定经典线性回归的假定下，最小二乘估计量是线性无偏最优估计量（BLUE）。
二、空间回归模型 Spatial Regression Model
概述
空间回归模型的类型
应用空间回归模型的前提：ESDA and OLS diagnostics tell you that there