文档介绍：矩阵分析与应用试卷 1. 简述 K- 均值算法 2. 简述最小平方误差算法 3. 简述正态分布的最小错误率贝叶斯决策规则 4. 简述贝叶斯估计与贝叶斯学****5. 简述 K-L 变换的多类模式特征提取 1. K-means 算法是硬聚类算法,是典型的局域原型的目标函数聚类方法的代表,它是数据点到原型的某种距离作为优化的目标函数,利用函数求极值的方法得到迭代运算的调整规则。 K-means 算法以欧式距离作为相似度测度,它是求对应某一初始聚类中心向量 V 最有分类,使得评价指标 J 最小。算法采用误差平方和准则函数作为聚类准则函数。 K- 均值算法的聚类准则是使每一聚类中,多模式点到该类别的中心的距离的平方和最小。其基本思想是:通过迭代,主次移动各类的中心,直到得到最好的聚类为止。主要步骤如下: 第一步:适当地选取 m 个类的初始中心 Z 1 (1) ,Z 2 (1),···,Z M (1) ,初始中心的选择对聚类结果有一定的影响,初始中心的选择一般有如下几种方法: 1) 根据问题的性质和经验确定类别数 m ,从数据中找出直观上看来比较适合的 m 个类的初始中心。 2) 将全部数据随即地分为 m 个类型, 计算每类的重心, 将这些重心作为m 个类的初始中心。第二步: 在第 k 次迭代中, 对任一样本 X 按如下的方法把它调整到 m 个类别中的某一类别中去。对于所有的 i≠ j,i= 1,2, ···, m, 如果∥ X-Z j (k)∥﹤∥ X-Z i (k)∥,则 X∈S j (k) 其中 S j (k) 是以 Z i (k) 为中心的类。第三步:由第二步得到 S j (k) 类新的中心 Z j (k) ,Z j (k)=??1 SXjXN 式中,N j为S j (k) 类中的样本数。Z j (k+1) 是按照使 J 最小的原则确定的,J 的表达式为: J= 21 )1(?????? mjSX kjZ X 第四步: 对于所有的 i=1,2 ···,m, 如果 Z i (k+1) =Z i (k), 则迭代结束, 否则转到第二步继续迭代。这种算法的结果受到所选聚类中心的数目和其初始位置以及模式分布的几何性质和读入次序等因素的影响,并且在迭代过程中又没有调整类数的措施, 因此可能产生不同的初始分类得到不同的结果,这是这种方法的缺点。可以通过其他的简单的聚类中心试探方法,如最大距离法,找出初始中心,提高分类效果。 2. 最小平方误差算法( 以下简称 MSE) , 是对准则函数引进最小均方误差这一条件而建立起来的, 这种算法的主要特点是在训练过程中判定训练集是否线性可分,从而对结果的收敛性做出判断。我们把不等式组变为如下形式: nya T =nb >0 nb 为给定的任意的正常数。将上式联立方程组可以得到: b? Ya 其中 Y=[ Ty 1 Ty 2 …… Ty N ] T ,为 N*d 的矩阵, Ty n 为规范化增广样本向量。通常样本数 N 大于样本维度 d,故Y 为长方形阵且一般列满秩。实际上这是方程个数多余未知数的情况,一般为矛盾方程组无精确解。因此定义误差向量: b