文档介绍：模式识别–无监督学****与聚类第十章无监督学****与聚类模式识别–无监督学****与聚类 监督学****与无监督学****监督学****与无监督学****的最大区别在于训练样本是否有类别标号,无类别标号的称为无监督学****监督学****与无监督学****也被称为有教师学****与无教师学****模式识别–无监督学****与聚类 混合密度及可辨识性?从理论上讲,无监督学****可以看作是一个混合密度的估计问题: ?所有样本都来自于 c种类别, c已知; ?每种类别的先验概率未知; ?类条件概率的数学形式已知,但参数未知; ?样本类别未被标记。?? jP???, j j p?xθ jθ模式识别–无监督学****与聚类混合密度?样本可以看作是按如下方式产生的:先以概率决定其所属类别,然后根据概率密度生成一个具体的样本 x。?因此 x样本的产生概率为: ?? jP? j???, j j p?xθ?????? 1, c j j j j p p P ? ???? xθxθ模式识别–无监督学****与聚类可辨识性?不可辨识:如果无论样本的数目有多少,都不存在唯一的解,则称密度是不可辨识的; ?完全不可辨识:如果参数的任何部分都无法求出, 则称为完全不可辨识; ?大多数的混合密度是可以辨识的,但也存在某些混合密度是无法辨识的。θ?? pxθθ模式识别–无监督学****与聚类完全不可辨识?假设样本 x的概率是由两个 0-1 分布混合而成,两个分布的先验概率相等,参数分别为则混合概率为: ?即使可以统计出,也无法求解出参数。 1 2 , ? ??????????? 1 2 1 1 1 1 2 2 1 2 1 , 1 1 1 2 1 1 1 2 2 1 , 0 2 θ x x x x x P xx ? ??? ???? ??????? ? ???? ?? ? ??? ??? 1 θ P x ? ??? 0 θ P x ? ? 1 2 , ? ?模式识别–无监督学****与聚类部分不可辨识?假设样本 x的概率密度是两个均匀分布的混合: ?如果训练样本是 0-1 之间的均匀分布: ?则对任意的 0<t<1 ,只要: ?????????? 1 1 1 1 2 2 2 2 , , , , θ p x p x s t P p x s t P ? ? ???????? 1 1 1 1 1 , , , p x s t U s t ?????? 2 2 2 2 2 , , , p x s t U s t ?????? 0,1 p x U ??????? 1 1 1 1 1 , 0 , , , 0, 0, t x t P t p x s t U t otherwise ? ??? ? ? ???????????? 2 2 2 2 1 1 , 1 1 , , , ,1 0, t t x P t p x s t U t otherwise ? ? ??? ???????模式识别–无监督学****与聚类 聚类准则函数类别数 c = 2 模式识别–无监督学****与聚类误差平方和准则?将样本分成 c个子集 D1, …, Dc , ni为第 i个子集的样本数, mi 为样本均值: ?误差平方和准则: 1 iiDin ??? x m x 2 1 i c e i i D J ? ?? ??? x x m 模式识别–无监督学****与聚类散布矩阵?类内散布矩阵: ?类间散布矩阵: ?总体散布矩阵: ???? 1 i ct w i i i D ? ?? ???? x S x m x m ???? 1 ct B i i i in ?? ??? S m m m m ???? t T w B D?? ????? x