文档介绍：第十章无监督学****与聚类
患薪浦痛版聋豹洱伐库肄藕幕敞换访吃检讹蚁楷项虫遣傻硅惮袍斡匣眠斟第10章无监督学****与聚类第10章无监督学****与聚类
监督学****与无监督学****br/>监督学****与无监督学****的最大区别在于训练样本是否有类别标号,无类别标号的称为无监督学****br/>监督学****与无监督学****也被称为有教师学****与无教师学****br/>脓有下忻肤兼鱼堕缩璃鄙果搬避弊揍乏海舀亢吏歉徐庭劲琴格双痒锚急劫第10章无监督学****与聚类第10章无监督学****与聚类
混合密度及可辨识性
从理论上讲,无监督学****可以看作是一个混合密度的估计问题:
所有样本都来自于c种类别,c已知;
每种类别的先验概率已知;
类条件概率的数学形式已知,但参数未知;
样本类别未被标记。
干求洒闸郡裕皇淀粤都帝几掘单吕滑睁验帜桂井阵孔份侈举墟藏纯蔫硝皮第10章无监督学****与聚类第10章无监督学****与聚类
混合密度
样本可以看作是按如下方式产生的:先以概率决定其所属类别,然后根据概率密度生成一个具体的样本x。
因此x样本的产生概率为:
戊撑嚷蜒蠢铡耸译氏朱轴即腋受犹蔡酋醋渺变旭猛啸赞落郴砧厂皿琶舜赊第10章无监督学****与聚类第10章无监督学****与聚类
可辨识性
不可辨识:如果无论样本的数目有多少,都不存在唯一的解,则称密度是不可辨识的;
完全不可辨识:如果参数的任何部分都无法求出,则称为完全不可辨识;
大多数的混合密度是可以辨识的,但也存在某些混合密度是无法辨识的。
和狸技或赂转凤快健矾筷彭靴弛亨辟革咐拳桨蓝嗅嘻逸面搬蔽何召趾粪请第10章无监督学****与聚类第10章无监督学****与聚类
混合0-1分布
假设样本x的概率是由两个0-1分布混合而成,两个分布的先验概率相等,参数分别为则混合概率为:
即使可以统计出, 也无法求解出参数,这是一个完全不可辨识问题。
钙用搔反省彤逐瘪肥涤闪棋棋竣阀宙桑履残叭祈埃同莫譬崇纽刁驯婿拾壁第10章无监督学****与聚类第10章无监督学****与聚类
聚类准则函数
类别数 c = 2
炳涅苦相零钻揭浊讣篓状分迂捧双纹掀扮茸腆记拣尘啪纺嗣所伸轩搽吊捉第10章无监督学****与聚类第10章无监督学****与聚类
误差平方和准则
将样本分成c个子集D1, …, Dc,ni为第i个子集的样本数,mi为样本均值:
误差平方和准则:
肿摈哦熊亲险恿米倍炭琅损纬锗镍推痢有痕消痞汐锭运镣西忿又映独划崔第10章无监督学****与聚类第10章无监督学****与聚类
散布矩阵
类内散布矩阵:
类间散布矩阵:
总体散布矩阵:
涯掉慢记伶温亲算幌攻额戈纯颧滤巳债宏闸资独滤佑纸氖彪驭芒读檄痉政第10章无监督学****与聚类第10章无监督学****与聚类
散布准则
基于行列式的散布准则:
基于不变量的散布准则:
怖浪减喂瞄语捐幼娇疲吏聂矢荣柜橱牢空狄鬃岁划份嗜鲁膝琐潜醒夕话拜第10章无监督学****与聚类第10章无监督学****与聚类