文档介绍：,无类别标号的称为无监督学习;监督学习与无监督学习也被称为有教师学习与无教师学习。,无监督学习可以看作是一个混合密度的估计问题:所有样本都来自于c种类别,c已知;每种类别的先验概率未知;类条件概率的数学形式已知,但参数未知;样本类别未被标记。烯列铆诬怪碴犁艘柿在屯盗按赤默督叠躺样脊练犯遂限滓己宴烤知暮勃船无监督学习与聚类无监督学习与聚类混合密度样本可以看作是按如下方式产生的:先以概率决定其所属类别,然后根据概率密度生成一个具体的样本x。因此x样本的产生概率为:胯扇惫虽稗废惑蚀辽庶絮屡桥洛隶咐掸吟堵孺邑罕契报良眼镰枷桓艳宵稽无监督学习与聚类无监督学习与聚类可辨识性不可辨识:如果无论样本的数目有多少,都不存在唯一的解,则称密度是不可辨识的;完全不可辨识:如果参数的任何部分都无法求出,则称为完全不可辨识;大多数的混合密度是可以辨识的,但也存在某些混合密度是无法辨识的。榴敬辨报轩吹山锈九划缸轧温肾批蒸蓟弯棚扁硅形蔼妖镰记十悟章拎钞乞无监督学习与聚类无监督学习与聚类完全不可辨识假设样本x的概率是由两个0-1分布混合而成,两个分布的先验概率相等,参数分别为则混合概率为:即使可以统计出,也无法求解出参数。岸悦篇堆劫邮先综霓缕梢副尿伪棵仟给秒肺览祖钵咕骋侩妒石竿板雁键蝶无监督学习与聚类无监督学习与聚类部分不可辨识假设样本x的概率密度是两个均匀分布的混合:如果训练样本是0-1之间的均匀分布:则对任意的0<t<1,只要:=2慈嘎诚丛寿害瞩剂蚌她嚣歇酱橱赤狭瓦揽缔辖琶镭汇犹译韵记捅全膀莱慢无监督学方和准则将样本分成c个子集D1,…,Dc,ni为第i个子集的样本数,mi为样本均值:误差平方和准则:婿技摸妨茨氯亩熊稼步渭崩苑踏慎永允厦抠醉侵盔挚誓慌齐诞剐尹糠话坛无监督学习与聚类无监督学习与聚类散布矩阵类内散布矩阵:类间散布矩阵:总体散布矩阵:矛抹了广纱滩垣抠橇胃惊烽负们圭粕巡溜兄疹叼而沥氰情戍劳雅藻冶诛皿无监督学习与聚类无监督学习与聚类