文档介绍:选择性模糊聚类分析算法
高新波(Xinbo Gao)
西安电子科技大学电子工程学院
Xidian University, Xi’an行特征的选择;
在实际应用中,很多聚类结构是存在于特征空间的子空间中的;
为了挖掘这样的聚类结构,就必须能够找到张成该子空间的变量,即进行特征选择。
特征选择性FCM算法
FCM目标函数:
基于特征加权的FCM目标函数:
Jie Li, Xinbo Gao, Licheng Jiao, “A novel feature weighted fuzzy clustering algorithm”, D. Slezak et al. (Eds.): RSFDGrC2005, LNAI 3641, -420, 2005, Springer-Verlag Berlin Heidelberg 2005
ReliefF算法
Relief算法是Kira和Rendell在1992年提出的,限于解 决两类的分类问题的特征选择;
1994年Kononenko扩展了Relief算法,使得ReliefF可 以解决多类问题的特征选择;
ReliefF算法是给特征集中每一特征赋予一定的权重。
Kira K., Rendell L A., A practical approach to feature selection, Proceedings of the 9th International Workshop on Machine Leaning, San Francisco, CA: Morgan Kaufmann, 1992, 249-256
ReliefF算法
同类样本间的差异:
异类样本间的差异:
特征权值更新公式:
实验结果
IRIS数据由四维空间中的150个样本点组成,每一个样本的4个分量分别表示IRIS的Petal Length,Petal Width,Sepal Length和Sepal Width。包含了3个IRIS种类Setosa,Versicolor和Virginica,每类各有50个样本。其中Setosa与其它两类间较好地分离,而Versicolor和Virginica之间存在交迭。
W-k-Means Algorithm
Joshua Zhexue Huang,Michael K. Ng, Hongqiang Rong, and Zichen Li, Automated Variable Weighting in k-Means Type Clustering, IEEE Trans. on PAMI, 27(5): 657-668, 2005
W-k-Means Algorithm
Joshua Zhexue Huang,Michael K. Ng, Hongqiang Rong, and Zichen Li, Automated Variable Weighting in k-Means Type Clustering, IEEE Trans. on PAMI, 27(5): 657-668, 2005
OUTLINE
Introduction
Fuzzy c-Means Algorithm (FCM)
Feature Selected FCM Algorithm
Sample Selected FCM Algorithm
FCM Algorithm Selective Ensemble
Concluding Remarks
References
Sample selective FCM
目标函数:
迭代公式
Application
基于直方图加权的图像分割 (FCM)
原图像 1DH加权 2DH加权
高新波,李洁,“基于加权FCM与统计检验指导的多阈值图像自动分割算法”,电子学报, 32(4): 661-664, 2004
FCM for Large Data Set
Jie Li, Xinbo Gao, Licheng Jiao, “A Novel Typical-Sample-Weighted Clustering Algorithm for Large Data Sets ”, Lecture Notes in Artificial Intelligence, LNAI3801: 696-703, 2005
原子聚类
典型样本
样本加权
FCM for Large Data Set
对聚类中心的影响
算