文档介绍：第二章聚类分析
第二章聚类分析
聚类分析的相关概念
模式相似性的测度和聚类准则
基于试探的聚类搜索算法
系统聚类法
动态聚类法
聚类结果的评价
聚类分析的相关概念
定义
对一批没有标出类别的模式样本集,按照样本之间的相似程度分类,相似的归为一类,不相似的归为另一类,这种分类称为聚类分析,也称为无监督分类。
聚类分析的相关概念
模式相似/分类的依据
把整个模式样本集的特征向量看成是分布在特征空间中的一些点,点与点之间的距离即可作为模式相似性的测量依据。

聚类分析是按不同对象之间的差异,根据距离函数的规律(大小)进行模式分类的。
聚类分析的相关概念
聚类分析的有效性

聚类分析方法是否有效,与模式特征向量的分布形式有很大关系。
若向量点的分布是一群一群的,同一群样本密集(距离很近),不同群样本距离很远,则很容易聚类;
若样本集的向量分布聚成一团,不同群的样本混在一起,则很难分类;
对具体对象做聚类分析的关键是选取合适的特征。特征选取得好,向量分布容易区分,选取得不好,向量分布很难分开。
聚类分析的相关概念
两类模式分类的实例:一摊黑白围棋子
选颜色作为特征进行分类,用“1”代表白,“0”代表黑,则很容易分类;
选大小作为特征进行分类,则白子和黑子的特征相同,不能分类(把白子和黑子分开)。
聚类分析的相关概念
特征选择的维数
在特征选择中往往会选择一些多余的特征,它增加了维数,从而增加了聚类分析的复杂度,但对模式分类却没有提供多少有用的信息。在这种情况下,需要去掉相关程度过高的特征(进行降维处理)。
降维方法
结论:若rij->1,则表明第i维特征与第j维特征所反映的特征规律接近,因此可以略去其中的一个特征,或将它们合并为一个特征,从而使维数降低一维。
聚类分析的相关概念
模式对象特征测量的数字化
计算机只能处理离散的数值,因此根据识别对象的不同,要进行不同的数据化处理。
连续量的量化:用连续量来度量的特性,如长度、重量、面积等等,仅需取其量化值;
量级的数量化:度量时不需要详尽的数值,而是相应地划分成一些有次序的量化等级的值。
病人的病程
名义尺度:指定性的指标,即特征度量时没有数量关系,也没有明显的次序关系,如黑色和白色的关系,男性和女性的关系等,都可将它们分别用“0”和“1”来表示。
超过2个状态时,可用多个数值表示。
模式相似性的测度和聚类准则
相似性测度
目的:为了能将模式集划分成不同的类别,必须定义一种相似性的测度,来度量同一类样本间的类似性和不属于同一类样本间的差异性。
欧氏距离
量纲对分类的影响(下页图例)
马氏距离
特点:排除了模式样本之间的相关性
问题:协方差矩阵在实际应用中难以计算
一般化的明氏距离
角度相似性函数
特点:反映了几何上相似形的特征,对于坐标系的旋转、放大和缩小等变化是不变的。
当特征的取值仅为(0,1)两个值时的特例
量纲对分类的影响(图例)