文档介绍：加权最小二乘法( Weighted Least Squares , WLS ) 许琼琼线性回归的衍生模型之 WLS 如前介绍线性回归模型有自身的适用条件,线性、正态性、独立性、方差齐性,但是,在实际分析项目中往往不会服从以上假定,此时就需要对数据进行变换使之符合模型需求,或者对模型加以改进使之能够处理相应数据,总之这是一个模型和数据相互适应的双向的过程。今天我们讨论的是线性回归衍生模型中重要又常见的一种情况——加权最小二乘法(WLS) 。那么什么情况下应用这种模型呢? ?标准的线性回归模型中,假设所研究总体中方差恒定, 即因变量的变异不随其自身预测值或其他自变量值得变化而变动。?但在有的研究问题中,这一假设可能被违反,可能是因变量的变异随其自身数值增大而增大,也可能是随其他变量值而改变。例如:以地区为观察单位调查某种疾病的发生率,由于率的标准差本身就和样本量有关,显然该地区的人数越多,所得到的发生率就会越稳定,即变异度越低。在这些情况下,如果采用普通最小二乘法( OLS )来分析,可能产生偏差,如果能够根据变异的大小对相应数据给予不同的权重,在拟合时对变异较小的测量值赋予较大权重,则能够提高模型的精度。?除方差波动外,还有一种情况是根据分析目的人为??某些样本数据,这最常见于实??研究中??标准?线的问题。由于标准?线所??的?度??一?较?,而样?测?的?对?差往往又随?度的增大而增大,如果以普通 OLS 加以拟合,?然会??标准?线在高?度区??精?度较高,而在低?度区??准?性?显下?。而标准?线?重?的相对?差而不是?对?差,而不同?度区??的相对?差和?对?差往往不??例,如?度在 100ng/ml 时, 5ng/ml 的?差?使其相对?差?到 5% ?而??度为 1ng/ml 时,相对?差则?到? 500% 。显然为????线精度,??要在拟合时对低?度数据给予较高的权重。异方差的概念在?到加权最小二乘法的时?需要??一个重要的??——异方差。那么什么是异方差呢? ?对于模型 i kiki ii iXXXY???????????? 2210如果出现 Var ii()??? 2即对于不同的样本点,随机误差项的方差不再是常数,而互不相同,则认为出现了异方差性(Heteroskedasticity) 。异方差的?型?同方差:? i 2 = 常数? f(X i) ?异方差: ? i 2 = f(X i)(?:方差? x有关) 异方差一般可归结为三种类型: (1) 单调递增型: ? i2随X的增大而增大 (2) 单调递减型: ? i2随X的增大而减小 (3) 复杂型: ? i2与X的变化呈复杂形式异方差产生?因?、模型中??某些??变量(即自变量)?从而??项产生āā模?。??、样本数据观测?差?随?数据采???的改进, ??项的方差可能??。?、模型设?不正?。??、????发生?变化,但模型?数ēē相应调? 。?如?????改??模型,人们在??的过程中,其行为?差随时ě而??。? ě、异常值的??也会产生。异常值可以通过查?? ?或?查??数据?到。实际问题的异方差性?在实际??问题中,随??动项往往是异方差的,但?要在? ?数据分析中??。加权最小二乘法的基本思想?加权最小二乘法是对?模型加权,使之变?一个?的不?在异方差性的模型,然ī采用 OLS ī?其?数。