文档介绍：模式识别
非监督学****方法
以前讨论的分类方法都是在已知类别标签的样本集的基础上进行的。可是在很多实际应用中由于缺少形成模式类过程的知识,或者由于实际工作中的困难(例如卫星遥感照片上各像元的分类问题),我们往往只能用没有类别标签的样本集进行工作。这就是通常所说的非监督学****方法。一般来说非监督学****方法可以分成两大类,即基于概率密度函数估计的直接方法和基于样本间相似性度量的间接聚类方法。不论是哪一种方法,在把样本集划分为若干个子集(类别)后,我们或者直接用它解决分类问题,或者把它作为训练样本集进行分类器设计。
单峰子集的分离方法
思想:把特征空间分为若干个区域,在每个区域上混合概率密度函数是单峰的,每个单峰区域对应一个类。
一维空间中的单峰分离: 对样本集KN={xi}应用直方图方法估计概率密度函数,找到概率密度函数的峰以及峰之间的谷底,以谷底为阈值对数据进行分割。
一维空间中的单峰子集分离
投影方法算法步骤
计算样本y协方差矩阵的最大特征值对应的特征向量u,把样本数据投影到u上,得到v=uTy
用直方图法求边缘概率密度函数p(v)
找到边缘概率密度函数的各个谷点,在这些谷点上作垂直于u的超平面把数据划分成几个子集
如果没有谷点,则用下一个最大的特征值代替
对所得到的各个子集进行同样的过程,直至每个子集都是单峰为止
单峰子集分离的迭代算法
把样本集KN={xi}分成c个不相交子集Ki。用这样的一个划分可用Parzon方法估计各类的概率密度函数:
聚类准则:即理想的划分应使下式最大
迭代算法步骤
对数据集进行初始划分:K1, K2, …,Kc
用Parzon方法估计各聚类的概率密度函数
按照最大似然概率逐个对样本xk进行分类
若没有数据点发生类别迁移变化,则停止。否则转2
类别分离的间接方法
迭代的动态聚类算法
1. C-均值算法
2. ISODATA算法
3. 基于样本和核的相似性度量算法
非迭代的分级聚类算法􀂄
1. 最近距离
2. 最远距离
3. 均值距离
C-均值算法
对样本集KN={xi}尚不知每个样本的类别,但可假设所有样本可分为c类,各类样本在特征空间依类聚集,且近似球形分布。
用一代表点来表示一个聚类,如类内均值mi来代表聚类Ki
聚类准则:误差平方和J
C-均值算法
初始化:选择c个代表点p1, p2, …,pc。
建立c个空聚类列表: K1, K2, …,Kc。
按照最小距离法则逐个对样本x进行分类。
计算J及用各聚类列表计算聚类均值,并用来作为各聚类新的代表点(更新代表点)。
若J不变或代表点未发生变化,则停止。否则转2。