文档介绍：偏最小二乘回归方法
1 偏最小二乘回归方法(PLS)背景介绍
在经济管理、教育学、农业、社会科学、工程技术、医学和生物学中,多元线性回归分析是一种普遍应用的统计分析与预测技术。多元线性回归中,一般采用最小二乘方法(Ordinary Least Squares :OLS)估计回归系数,以使残差平方和达到最小,但当自变量之间存在多重相关性时,最小二乘估计方法往往失效。而这种变量之间多重相关性问题在多元线性回归分析中危害非常严重,但又普遍存在。为消除这种影响,常采用主成分分析(ponents Analysis :PCA)的方法,但采用主成分分析提取的主成分,虽然能较好地概括自变量系统中的信息,却带进了许多无用的噪声,从而对因变量缺乏解释能力。
最小偏二乘回归方法(Partial Least Squares Regression:PLS)就是应这种实际需要而产生和发展的一种有广泛适用性的多元统计分析方法。。近十年来,偏最小二乘回归方法在理论、方法和应用方面都得到了迅速的发展,己经广泛地应用在许多领域,如生物信息学、机器学习和文本分类等领域。
偏最小二乘回归方法主要的研究焦点是多因变量对多自变量的回归建模,它与普通多元回归方法在思路上的主要区别是它在回归建模过程中采用了信息综合与筛选技术。它不再是直接考虑因变量集合与自变量集合的回归建模,而是在变量系统中提取若干对系统具有最佳解释能力的新综合变量(又称成分),然后对它们进行回归建模。偏最小二乘回归可以将建模类型的预测分析方法与非模型式的数据内涵分析方法有机地结合起来,可以同时实现回归建模、数据结构简化(主成分分析)以及两组变量间的相关性分析(典型性关分析),即集多元线性回归分析、典型相关分析和主成分分析的基本功能为一体。下面将简单地叙述偏最小二乘回归的基本原理。
2 偏最小二乘法的工作目标
偏最小二乘法的工作目标
在一般的多元线性回归模型中,如果有一组因变量Y={y1,…,yq}和一组自变量X={x1,…,xp},当数据总体能够满足高斯—马尔科夫假设条件时,根据最小二乘法,有
=X(XTX)-1XTY
将是Y的一个很好的估计量。从这个公式容易看出,由于(XTX)必须是可逆矩阵,所以当X中的变量存在严重的多重相关性时,或者在X中的样本点数与变量个数相比显然过少时,
这个最小二乘估计都会失效并将引发一系列应用方面的困难。
考虑到这个问题,偏最小二乘回归分析提出了采用成分提取的方法。在主成分分析中,对于单张数据表X,为了找到能最好地概括原数据的综合变量,在X中提取了第一主成分F1,使得F1中所包含的原数据变异信息可达到最大,即
Var(F1)→max
在典型相关分析中,为了从整体上研究两个数据表之间的相关关系,分别在X和Y中提取了典型成分F1和G1,它们满足
r(F1,G1) →max
F1T F1=1
G1T G1=1
在能够达到相关度最大的综合变量F1和G1之间,如果存在明显的相关关系,则可以认为,在两个数据表之间亦存在相关关系。
提取成分的做法在数据分析的方法中十分常见,除主成分、典型成分以外,常见到的还有Fisher判别法中的判别成分。实际上,如果F是X数据表的某种成分,则意味着F是X中变量的某一线性组合F=Xa,而F作为一个综合变量,它在X中所综合提取的信息,将满足我们特殊的分析需要。
偏最小二乘回归分析的建模方法
设有q个因变量{y1,…,yq}和p个自变量{x1,…,xp},为了研究因变量与自变量的统计关系,观测n个样本点,由此构成了自变量与因变量的数据表X=【x1,…,xp】n*p和Y=【y1,…,yq】n*q。
偏最小二乘法回归分别在X与Y中提取出t1和u1(也就是说,t1是x1,…,xp的线性组合,u1是y1,…,yq的线性组合)。在提取这两个成分时,为了回归分析的需要,有下列两个要求:
t1和u1应尽可能大地携带它们各自数据表中的变异信息
t1和u1的相关程度能达到最大
这两个要求表明,t1和u1应尽可能好地代表数据表X和Y,同时自变量的成分t1对因变量的成分u1又有最强的解释能力。
在第一个成分t1和u1被提取后,偏最小二乘法回归分别实施X对t1的回归以及Y对t1的回归。如果方程达到了满意的精度,则算法终止;否则,将利用X被t1解释后的残余信息以及Y被t1解释后的残余信息进行第二轮的成分提取。如此递推,直到能达到一个较为满意的精度为止。若最终对X共提取了m个成分t1,…,tm,偏最小二乘法回归将通过实施
YK对t1,…,tm的回归,然后再表达成YK关于原变量x1,…,xp的回归方程,k=1,…,q。
3 计算方法推导
3