文档介绍：数据处理?把混在原始数据中的“异常数据”排除、把真正有用的“信息”提取出来,有助于推断统计得出正确分析结论。 1 :异常数据取舍 2 :未检出值和/或缺失值估算?采用异常数据进行推断统计得到的结论误导带给科研与统计控制判断出错的隐患不可小视。 1异常数据?单个异常值:是指单个样本观测数据组内隐含的个别异常数据。同义词有:可疑值、异常值、极端值、端值、离群值、逸出值、奇异值、超限值、粗值…?异常均数:三个以上( k≥3)样本多均数要作统计分析比较时,无疑也要检查其中是否隐含可疑均数。 2 ?研究者对 7例糖尿病患者给某种药物后,测量其血中胰岛素( /ml , X1 )和血糖( mg% , X2 ) ?作者采用直线相关分析?结论:血液中胰岛素与血糖两者含量之间无直线相关患者编号 1234567 胰岛素( X1 ) 24********** 10 血糖( X2 )142 170 194 213 214 238 249 P,3140 .0??? 3 Correlations 1 .314 .493 7 7 .314 1 .4937 7 Pearson Correlation Sig. (2-tailed) NPearson Correlation Sig. (2-tailed) N 胰岛素x1 血 糖x2 胰岛素x1 血糖x2 Correlations 1 -.936** .006 6 6 -.936** 1 .0066 6 Pearson Correlation Sig. (2-tailed) NPearson Correlation Sig. (2-tailed) N 胰岛素xa 血 糖xb 胰岛素xa 血糖xb Correlation is significant at the level (2-tailed). **. ?剔出第 6对数据前后的 Pearson 相关系数,前者是 ,后者是- , 显示有相关性! 4异常数据的判别法?物理判别法:根据人们对客观事物已有的认识,判别由于外界干扰、人为误差等原因造成实测数据偏离正常结果,在实验过程中随时判断,随时剔除?统计判别法:给定一个置信概率,并确定一个置信限,凡超过此限的误差,就认为它不属于随机误差范围,将其视为异常数据剔除?能用物理判别法判定异常数据有时不易做到, 此时只能用统计判别法 5统计判别法?拉依达准则?肖维勒准则?格拉布斯准则?狄克逊准则?t检验(罗马诺夫斯基准则) ?极差法 6统计判断对异常数据的区分?异常数据有两种情况: ? 1. 异常值不属于该总体,抽样抽错了,从另外一个总体抽出一个(一些)数据,其值与总体平均值相差较大; ? 2. 异常值虽属于该总体,但可能是该总体固有随机变异性的极端表现,比如说超过 3σ的数据,出现的概率很小。 7 ?犯错误 1:将本来属于该总体的、出现的概率小的、第二种情况的异常值判断出来舍去,就会犯错误。---- 去真?犯错误 2:不属于该总体但数值又和该总体平均值接近的数据被抽样抽出来,统计检验方法判断不出它是异常值,就会犯另外一种错误。---- 存伪 8统计判别法之一:拉依达准则?如果实验数据的总体 x是服从正态分布的,则?根据上式对于大于μ+3 σ或小于μ-3σ的实验数据作为异常数据,予以剔除。?剔除后,对余下的各测量值重新计算偏差和标准偏差,并继续审查,直到各个偏差均小于 3σ为止。?无需查表,使用简便 003 .0)3(????uxp 9 对某一长度 L测量 10次,其数据如下: 试用拉依达准则剔除坏值。解: cm . )L (L i i 16 31 10 101 2??????? cm 48 .93 16 .33????LLL i?? 10? 34 11 33 20..?? 48 .93 99 .8???? 不能用拉依达准则剔除次数 ********** L(c m) 5 8 2 5 3 7 1 4 3 10