文档介绍：高斯过程在机器学****中的应用
西安郵電大学
科研训练报告书
摘要
高斯过程是近年来发展起来的一种新的机器学****方法,它有着严格的统计学****理论基础,对处理高维数非线性小样本复杂问题具有良好的适应性。对列车精准停车问题的这种复杂的非线性问题,将高斯过程机器学****方法应用于此问题,并提出相应的模型,减少数据间复杂的内在物理或其他关系。很多工程实例研究表明,高斯过程机器学****模型是科学可行的,预测精度高,简单实用,对很多问题问题具有较好的适用性。
关键词:高斯过程;机器学****列车精准停车
Abstract
Gaussian processes ( GP) is a newly developed machine learning method based on the strict statistical learning theory. GP is capable of solving the highly nonlinear problem with small samples and high train plex nonlinear problem, GP machine learning model applied to this problem, and propose a model to reduce plexity of data between the intrinsic physical or other relationship. Case studies show that many of the works, GP machine learning model is scientific and feasible, the prediction accuracy is high, simple and practical, on many issues the problem has good applicability.
Key Words: Gaussian processes;machine learning;precise train stopping
1引言
列车(包括火车、地铁、轻轨等轨道交通工具)的精确停车是轨道交通控制系统中的一项关键技术。对于有效使用站台屏蔽门、保证乘客安全、较少乘客换乘时间等有着至关重要的作用。然而就实际物理模型建模时收到很多方面的制约,且耗费大量的金钱。通过研究,将实际上依赖于物理模型的建立和控制参数的调整,而采用对数据本身的练****进行学****和建模。如果能从数据中学****到列车精确停车的规律,则可以在保证列车达到精确停车所需指标的同时,大量节省硬件方面的费用,并建立数据规律,同时使结果与实际模型相联系,促进物理模型的建立。因此,在利用机器学****来分析列车精确停车问题时,不需要过多关注各种复杂的如轨道坡度、摩擦系数、天气状况、乘客数量等外在因素,而只需关注对精度有明显影响的因素如停车的初始速度及距离等。
在本文中,将研究机器学****领域的高斯过程(Gaussian Process,GP),并以实际的列车停车
数据做了相关评测。
2 .高斯过程
在机器学****领域中,GP 是指在高斯随机过程与贝叶斯学****理论基础上发展起来的一种机器学****方法。在统计学理论中,GP 是这样的一个随机过程:其任意有限变量集合的分布都是高斯分布,即对任意整数n≥1及任意的一族随机变量 X,与其对应的 t 时刻的过程状态f(x)的联合概率分布服从
n 维高斯分布。GP 的全部统计特征完全由它的均值m(t)和协方差函数 k(t,t)来确定,其定义式表示如下:
f(t)~GP(m(t),k(t,t)) (1)
GP 可用于解决回归和分类两类问题,受篇幅限制,本文仅对GP回归模型的基本原理做简单介绍,具体参见文献[ 1]。
假设有 n 个观察数据的训练集 D={(xi,yi)|i=1,...,n},d 维输入矢量 xi∈R, 相应的输出标量yi∈R。如果 X 表示d?n维输入矩阵,y表示输出矢量,那么训练集 d''D=(X,y), 对于新的输入x*,GP 模型的任务是根据先验知识预测出与x*相对应的输出值y。
假设观察目标值y被噪声腐蚀, 它与真实输出值t相差ε:
y=t+ε(2) 其中ε为独立的随机变量,符合高斯分布,均值为0,方差为σn,即
观察目标值y的先验分布为
2 y~N(0,K+σnI) (4) 2ε~N(0,σn) (3) 2*
式中:K=K(X,X)为n?n阶对称正定的协方差矩阵,矩阵中的任一项Kij度量了xi和xj的相关性。
n个训练样本输出y和1个测试样本输出y*