文档介绍：word
word
- 1 - / 13
word
本科生学年论文
题目：从理论到应用——浅谈lasso模型
指导教师：
学院：
某某：
学号：
班级：
从理论到应用——浅谈lasso模优秀的改善OLS估计的方法是子集选择〔subset selection〕和岭回归〔ridge regression〕它们都有缺点。子集选择提供了可解释的模型但是可变性非常强，因为它是一个离散的过程——回归量要么保存要么从模型中去掉。小的数据变化就会使得模型的选择改变，这会降低预测准确度。岭回归是连续缩小参数的过程，因此更稳定：然而它不会使得任何参数为0，没方法得出简单的可解释的模型。
lasso模型就此提出，The least absolute shrinkage and selection operator，同时缩小〔shrinkage〕和设置成参数为0〔selection〕，保持了子集选择和岭回归的良好特征。[2]
模型的思想
word
word
- 3 - / 13
word
lasso是在回归系数的绝对值之和小于一个常数的约束条件下，使残差平方和最小化，从而能够产生某些严格等于0的回归系数，得到解释力较强的模型。
给出一组测量数据x1, x2 ...xp以与测量结果y，lasso符合线性模型
yhat=b0 + b1×x1+ b2×x2 + ... bp×xp
它所使用的标准是:
当∑| bj |<= s时，使得∑(y-yhat)2最小
最初的和是根据观察数据集得来的。边界〞s〞是一个调谐参数。当s很大时，约束起不到作用，解决方案只是常见的多元线性最小二乘回归的关于y,x1,x2,xp的函数。然而当s变小时，解决方案就是缩小的版本最小二乘〔least squares〕估计。通常一些系数bj为零。选择s就像选择一个回归模型的预报器的数值，交叉验证〔cross-validation〕是估计s最优值的一个好方法。[3]
Lasso与岭回归
岭回归的概念
岭回归(ridge regression)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失局部信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。
 它的数学表达式如下：即在回归系数的平方和小于一个常数的约束条件下，使残差平方和最小化。
Lasso与岭回归的比拟
下面是lasso写成一样形式的表达式。
word
word
- 4 - / 13
word
可以看出Lasso与岭回归的区别就是约束条件不一样，一个是回归系数绝对值之和小于一个常数，一个是平方和小于一个常数。Lasso的约束条件是线性的,而ridge是L2-norm。
通过这幅图可以很明显的看出岭回归和lasso之间的差异。图中是两个变量回归的情况，等高线图表示的是残差平方和的等高线。残差在最小二乘估计处最小。阴影局部分别是岭回归和lasso的限制区域。显然圆形为岭回归，菱形为lasso的。这两种带有惩罚项的方法都是要找到第一个落到限制区域上的等高线的那个位置的坐标〔即岭估计和lasso估计〕。因为菱形带尖角，所以更有可能使得某个变量的系数为0〔即所找到的第一个点是菱形四个顶点之一〕。当回归变量增多时，lasso的尖角也会变得更多，从而增大更多系数变0的可能性。而光滑的高维球面的显然不可能有这样的概率。这也就是说lasso可以用于变量选择。
这是lasso相较于ridge有优势的一点。
Lasso的算法步骤
Lasso的算法实现与lar(least angle regression)有密不可分的关系。
word
word
- 5 - / 13
word
lasso算法实现的背景
Tibshirani在《The Science of Bradley Efron》这本书的序言里写道，〞He sat down and pretty much single-handedly solved the problem. Along the way, he developed a new algorithm,’least angle regression’,which is interesting in its own right, and sheds great statistical insight on the Lasso.〞大意是说：Efron独自摆平了具有Shrinkage的Gradient Boosting应用到线性回归中时与Lasso得到的Solution Path相似这个问题，与此同时发明了“Lea