文档介绍：聚类分析
聚类分析是多元统计分析中研究“物以类聚”的一种方法,用于对事物的类别面貌尚不清楚,甚至在事前连总共有几类都不能确定的情况下进行分类的场合。
聚类分析的主要目的是研究事物的分类,而不同于判别分析。在判别分析中必须事先知道各种判别的类型和数目,并且要有一批来自各判别类型的样本,才能建立判别函数来对未知属性的样本进行判别和归类。若对一批样品划分的类型和分类的数目事先并不知道,这时对数据的分类就需借助聚类分析方法来解决。
聚类分析把分类对象按一定规则分成组或类,这些组或类不是事先给定的而是根据数据特征而定的。在一个给定的类里的这些对象在某种意义上倾向于彼此相似,而在不同类里的这些对象倾向于不相似。关于聚类分析的任何通则必定是含糊的、不明确的,因为在众多的各种不同领域里聚类方法已经得到发展,类和对象间的相似性具有不同定义。各种聚类分析方法通过用于聚类分析的各种各样的领域反映出来。因此,尽管聚类方法有很多种,但不管哪一种都不能说得到的分类是准确的。
下面我们介绍聚类分析中常用的一些方法。
距离和相似系数
什么是“类”呢?粗略地说,相似物体的集合称作类;聚类分析的目的就是把相似的东西归类。其次“相似”是什么含意?怎样度量“相似”?我们必须给出度量“相似”的统计指标。
聚类根据实际的需要有两个方向,一是对样品的聚类,一是对变量的聚类。相应的聚类统计量有两类:一种统计指标是类与类之间的距离,它是把每一个样品看成高维空间中的一个点,类与类之间用某种原则规定它们的距离,将距离近的点聚合成一类,距离远的点聚合成另一类。距离一般用于对样品分类。
另一种是相似系数,根据这个统计指标将比较相似的变量归为一类,而把不怎么相似的变量归为另一类,用它可以把变量的亲疏关系直观地表示出来。
距离
设有组样品,每组样品有个变量,。
个变量的组样品数据
样品号
变量
1 2 … n
…
…
…
第i个与第j个样品之间的距离用表示,一般应满足下面的条件:
当第i个样品与第j个样品相等;
对一切i,j;
对一切i,j;
对一切对一切i,j ,k。
最常用的距离有欧几里德距离、闵可夫斯基和马氏距离:
欧几里德(Euclid)距离:
()
闵可夫斯基(Minkowski)距离:
()
g一般为1或2,如果g=1时也称之为绝对值距离,g=2时即为欧几里德距离。
马氏(Mathalanobis)距离:
()
其中,为第i个样品的p个元素组成的向量,为第j个样品的p个元素组成的向量,为个样品的的协方差矩阵的逆矩阵。
相似系数
聚类分析有时也需要对变量进行聚类。在对变量进行聚类时,也可以定义变量间的距离,通常使用变量间的相似系数。常用的相似系数有:
夹角余弦
夹角余弦作为变量间的相似关系,它忽视各变量的绝对长度,着重从形状方面反映它们之间的关系。记变量与的夹角余弦为,其中,则有:
()
相关系数
变量与的相关系数为:
()
表示第个指标的平均值。
借助于相似系数,可以定义变量之间的距离。例如,采用非相似测度距离为,或。另外,还有其他一些定义相似系数的方法。
类的特征和类与类之间距离及统计量
我们的目的是聚类,那么什么叫类呢?由于客观事物的千差万别,在不同的问题中类的含义是不尽相同的。。
各种形式的类
试图给类一个严格的定义,绝非一件简单的事。下面给出类的几个定义,不同的定义适用于不同的场合。用表示类,假设中有个元素,用、表示中第、个因素。
定义1 T为一给定的阈值,如果对任意的,有(为i和j的距离),则称G为一个类。
定义2 T为一给定的阈值,如果对每个,有,则称G为一个类。
定义3 T为一给定的阈值,如果对任意一个,一定存在使得则称G为一个类。
易见,定义1的要求是最高的,凡符合它的类,一定也是后两种定义的类。此外,凡符合定义2的类,也一定是定义3的类。
类的特征
现在类的元素用表示,m为内的样品数,可以从不同的角度来刻画的特征。常用的特征有如下三种:
均值(或称为的重心):
()
样品协方差阵:
()
G的直径。它有多种定义,例如:
()
()
类的距离
在聚类分析中,不仅要考虑各个类的特征,而且还要计算类与类之间的距离。由于类的形状是多种多样的,因此,类与类之间的距离也有多种计算方法。令和中分别有和个样品,它们的重心分别记为和。下面给出一些常用的类与类之间的距离定义,用表示:
最短距离:
()
类与类之间距离定义为和中最邻近的两个样品的距离。最短距离法