文档介绍：R语言与机器学****回归方法学****二〕
三、boosting回归
Boosting方法是一种用来提高弱分类算法准确度的方法,这种方法通过构造一个预测函数系列,然后以一定的方式将他们组合成一个预测函数。他是一种框架算法,主要是通过对样ing回归时为了减少工作量直接做了变量选择〔这个选择与回归树的最终选择是一致的，所以也有一定的道理〕。最后交叉验证的结果为：，。，。
四、bagging回归
与boosting回归想法类似，bagging回归的做法就是不断放回地对训练样本进行再抽样，对每个自助样本都建立一棵回归树，对于每一个观测，每棵树给一个预测，最后将其平均。
对diabetes数据做bagging回归，使用到的函数包为ipred，使用函数为bagging〔〕，用法如下：
bagging(formula, data, subset, =, ...)
主要参数介绍：
Formula：回归方程形式
Data：数据集
Control：对树枝的控制，〔〕，可以控制诸如cp值，xval等参量。
输入代码：
library(ipred)  
reg<-bagging(y~.,data=w,coob=TRUE,control=(cp=))  
结果为：
Baggingregression trees with 25 bootstrap replications 
Call:(formula = y ~ ., data = w, coob = TRUE, control =(cp = ))
Out-of-bagestimate of root mean squared error:  
使用交叉验证〔代码略〕，得到结果：，。，。
五、随机森林回归
与bagging回归相比，随机森林则更进一步，不仅对样本进行抽样，还对变量进行抽样。
对diabetes数据做随机森林回归，使用到的函数包为randomForest，使用函数为randomForest〔〕，用法如下：
randomForest(formula, data=NULL, ..., subset, =)
这里值得一提的是，随机森林有个十分牛逼的性质，不会出现过拟合现象，这也省去了我们确定树的分类程度等一系列麻烦的事情。得到结果：，，效果显著提升。随机森林还可以输出自变量重要性度量，试运行代码：
library(randomForest)  
reg<-randomForest(y~.,data=w,importance=TRUE)