ch11-非监督学习方法.pdf

文档介绍：第十一章 非监督学****方法
„ 引言
„ 单峰子集的分离方法
„ 类别分离的间接方法
„ 分级聚类方法
„ 其他聚类方法简介
„ 聚类中的问题
引言
引言
„ 有监督：样本数据类别已知，训练分类
器以求对新数据进行分类
„ 非监督：样本数据类别未知，首先要求
对样本集进行分类(聚类)
„ 非监督学****方法大致分为两大类：
„ 基于概率密度函数估计的方法
„ 基于样本间相似性度量的方法
引言
Top-down Division
HierarchicalHierarchical Top-down Division
ClusteringClustering
分层聚类分层聚类 Bottom-upBottom-up AgglomerativeAgglomerative
PDFPDF based based methods methods
K-SeriesK-Series
PartitionalPartitional
ClusteringClustering GraphGraph Theory Theory based based methods methods
分块聚类分块聚类
PCA/SVDPCA/SVD basedbased methodsmethods
OtherOther methods methods
单峰子集的分离方法
单峰子集的分离方法
„ 思想：把特征空间分为若干个区域，在
每个区域上混合概率密度函数是单峰的，
每个单峰区域对应一个类
„ 如下图简单示例，x=0和y=0这两个超平
面可以把(x,y)平面分成四个单峰区域
单峰子集的分离方法
„ 投影方法
„ 多维空间中直接划分成单峰区域比较困难，
而一维空间中则比较简单。
„ 寻找一个坐标系统，在该系统下，数据的混
合概率密度函数可以用边缘概率密度表示。
„ 如果某边缘概率密度函数呈现多峰形式，则
在此坐标轴上（一维）作分割。
单峰子集的分离方法
„ 投影方法（续）
„ 一维空间中的单峰分离
样本集 S在 u i 轴上的投影为
T
S i = {u i y | y ∈ S }
对Si 应用直方图方法估计概率密度函数
找到概率密度函数的峰，以及峰之间的谷底
在谷底处做垂直于ui 的超平面对数据分割