文档介绍：一元线性回归分析一元线性回归有哪些基本假定? 答: 假设 1、解释变量 X是确定性变量, Y是随机变量; 假设 2、随机误差项ε具有零均值、同方差和不序列相关性: E(ε i )=0 i=1,2, …,n Var (ε i )=? 2 i=1,2, …,n Cov( ε i,ε j )=0 i≠j i,j= 1,2, …,n 假设 3、随机误差项ε与解释变量 X之间不相关: Cov(X i,ε i )=0 i=1,2, …,n 假设 4、ε服从零均值、同方差、零协方差的正态分布ε i ~N(0, ? 2) i=1,2, …,n 考虑过原点的线性回归模型 Y i=β 1X i+ε i i=1,2, …,n 误差ε i( i=1,2, …,n)仍满足基本假定。求β 1的最小二乘估计解: 得: 证明( 式),?e i =0,?e iX i =0。证明: ??????? niii niXYYYQ 1 210 21 )) ??(() ?(??其中: 即: ?e i =0, ?e iX i =0 2111 2) ?() ?( i ni i ni iieXYYYQ?????????0) ?(2? 111???????? ii ni i eXXY Q??)( )(? 1 2 11????? ni i ni iiX YX? 0 1 ???? i i i i i Y X e Y Y ? ?? ? ?? 0 1 0 0 ?? Q Q ? ?? ?? ?? ? 回归方程 E(Y)=β 0+β 1X的参数β 0,β 1 的最小二乘估计与最大似然估计在什么条件下等价?给出证明。答:由于εi ~N(0, ? 2) i=1,2, …,n 所以 Y i=β 0+β 1X i+εi ~N ( β 0+β 1X i,? 2) 最大似然函数: 使得 Ln (L)最大的 0??, 1??就是β 0,β 1的最大似然估计值。同时发现使得 Ln (L)最大就是使得下式最小, ??????? niii niXYYYQ 1 210 21 )) ??(() ?(??上式恰好就是最小二乘估计的目标函数相同。值得注意的是:最大似然估计是在ε i ~N (0,? 2)的假设下求得,最小二乘估计则不要求分布假设。所以在εi ~N(0, ? 2)的条件下,参数β 0,β 1 的最小二乘估计与最大似然估计等价。证明 0??是β 0的无偏估计。证明: ) 1[) ?() ?( 11 10????????? ni ixx i ni iYL XXXYn EXYEE??)] )( 1([]) 1([ 101 1 iixx i ni ixx i niXL XXXn EYL XXXn E???????????????0 1 0 1 0)() 1(]) 1([?????????????????? ixx i ni ixx i niEL XXXnL XXXn E 证明??) 1() 1() ?( 2221 2 20xx ni iL XnXX Xn Var??????????} )],([2 1 exp{ )2()(),,( 20101 2 2/21 210 ii ni nii niXY YfL???????????????????20101 2 2210 )],([2 1)2 ln( 2 )},,({ ii niXY nL Ln????????????????证明: )]() 1([]) 1([) ?( 10 21 1 0 iixx i ni ixx i niX Var L XXXn YL XXXn Var Var????????????????2 222 1 2] 1[])(2) 1 [(?? xx xx ixx i niL XnL XXX nL XXXn ????????? 证明平方和分解公式: SST=SSE+SSR 证明: 验证三种检验的关系,即验证: (1) 21 )2(r rnt???;(2) 22 21??)2 /( 1/t Ln SSE SSR F xx??????证明:( 1) 2 2 ?? 2 2 ?( ( 2)) ( 2) ?1 yy xx yy xx xx xx r