文档介绍：1
上节课内容总结
统计推断基本概念
统计模型:参数模型与非参数模型
统计推断/模型估计:点估计、区间估计、假设检验
估计的评价:无偏性、一致性、有效性、MSE
偏差、方差、区间估计
CDF估计:
点估计、偏差、方差及区间估计
统计函数估计
点估计
区间估计/标准误差
影响函数
Bootstrap
Bootstrap也可用于偏差、置信区间和分布估计等计算
2
本节课内容
重采样技术(resampling)
Bootstrap
刀切法(jackknife)
3
引言
是一个统计量,或者是数据的某个函数,数据来自某个未知的分布F,我们想知道的某些性质(如偏差、方差和置信区间)
假设我们想知道的方差
如果的形式比较简单,可以直接用上节课学****的嵌入式估计量作为的估计
例: ,则
,其中
,其中
问题:若的形式很复杂(任意统计量),如何计算/估计?
4
Bootstrap简介
Bootstrap是一个很通用的工具,用来估计标准误差、置信区间和偏差。由Bradley Efron于1979年提出,用于计算任意估计的标准误差
术语“Bootstrap”来自短语“to pull oneself up by one’s bootstraps”(源自西方神话故事“ The Adventures of Baron Munchausen”,男爵掉到了深湖底,没有工具,所以他想到了拎着鞋带将自己提起来)
计算机的引导程序boot也来源于此
意义:不靠外界力量,而靠自身提升自己的性能,翻译为自助/自举
1980年代很流行,因为计算机被引入统计实践中来
5
Bootstrap简介
Bootstrap:利用计算机手段进行重采样
一种基于数据的模拟(simulation)方法,用于统计推断。基本思想是:利用样本数据计算统计量和估计样本分布,而不对模型做任何假设(非参数bootstrap)
无需标准误差的理论计算,因此不关心估计的数学形式有多复杂
Bootstrap有两种形式:非参数bootstrap和参数化的bootstrap,但基本思想都是模拟
6
重采样
通过从原始数据进行n次有放回采样n个数据,得到bootstrap样本
对原始数据进行有放回的随机采样,抽取的样本数目同原始样本数目一样
如:若原始样本为
则bootstrap样本可能为
…
7
计算bootstrap样本
重复B次,
1. 随机选择整数,每个整数的取值范围为[1, n],选择每个[1, n]之间的整数的概率相等,均为
2. 计算bootstrap样本为:
Web上有matlab代码:
BOOTSTRAP MATLAB TOOLBOX, by Abdelhak M. Zoubir and D. Robert Iskander,
.
Matlab函数:bootstrp
9
模拟
假设我们从的分布中抽取IID样本,当时,根据大数定律,
也就是说,如果我们从中抽取大量样本,我们可以用样本均值来近似
当样本数目B足够大时,样本均值与期望之间的差别可以忽略不计
10
模拟
更一般地,对任意均值有限的函数h,当有
则当时,有
用模拟样本的方差来近似方差