文档介绍：构建超平面的决策树算法的研讨
摘要：如何在测试节点里构造一个恰当的分割超平面是构造决策树的关键，与单变量决策树不同，多变量（倾斜）决策树可以找到与特征轴不垂直的超平面。本文将从几何学角度说明构造测试节点的过程，提出了一种两阶段决策树的算法构建超平面的决策树算法的研讨
摘要：如何在测试节点里构造一个恰当的分割超平面是构造决策树的关键，与单变量决策树不同，多变量（倾斜）决策树可以找到与特征轴不垂直的超平面。本文将从几何学角度说明构造测试节点的过程，提出了一种两阶段决策树的算法。
关键词：超平面；两阶段；决策树
1两阶段决策树算法
，在每个测试节点内对于连续的属性如何研究分割超平面函数如式（1）：w1x1+w2x2+…+wnxn+threshold（阈值）=0，这里的X=（x1，x2…xn，1）是一个图形向量，它是由一个常数和n个描叙实例的特征组成的。WT=（w1，w2，…，wn，wn+1）是一个X的参数向量，也可以称为权向量（本文中假设WT是一个单位向量）。为了研究在每个测试决策树节点内构造超平面的过程，首先调整方程式（2）：1w1x1+w2x2+…+wnxn=threshold，权向量WT=（w1，w2…wn）可以看作是用函数2构造的超平面的法线方向，然后我们可以将寻找超平面函数2的过程分为两个步骤：首先找出标准向量WT，然后再找出参数阈值。使WT中至少有一个参数不等于0，得到的超平面就会向特征轴倾斜；使WT中只有一个参数不为0，例如WT=（0，0，…，wi，…，0），得到的超平面就会与特征轴垂直。显然，如果在每个超平面的WT中只有一个参数不为0，构造的决策树将会退化为单变量树。为了深入研究这个问题，首先我们作了一个定义1。
定义1设V=（v1，v2…vn）（单位向量）是实例空间P内的一个方向向量，a=（a1，a2…an）是实例空间P内的一点。?坌a，如果a′=∑1?燮i?燮naivi，我们就说a′是a的V成分。
根据定义1可知，如把V当作标准轴，那么a′就是V轴上的值。
命题1设H是用函数（2）构造的分割超平面，假设A和H的交点的标准成分是v，那么v=threshold（阈值）。
证明设a=（a1，a2，…，an）是实例空间内的一点，?坌a∈P，a的标准成分b=∑1?燮i?燮nwiai。设a′=（a，a，…，a）是从a到标准轴的映射点，得到式（3）：b=∑1?燮i?燮nwiai=∑1?燮i?燮nwia。
设t=（t1，t2，…，tn）是A和实例空间P的交点，因为WT是实例空间p内的标准向量，所以t=a′。联合（3）式，可以得到：b=∑1?燮i?燮nwia=∑1?燮i?燮nwiti=v。根据方程式（2），得到v=threshold（阈值）。
在权重向量WT内，如果只有一个参数不是0，例如WT=（0，0，…，wi，…，0），那么命题1中法线方向是准确的一个实例空间特征。因此，单变量决策树满足命题1。从这个角度来看，我们的框架是单变量决策树的延伸。此外，一旦发现有法线方向，就可以简单地解决超平面阈值：计算每个实例的标准成分作为一维空间值，然后根据一些标准（如基尼），寻找作为函数（2）阈值的最佳分割阈值。
，寻找超平面函数的过程可以划分为两个阶