文档介绍：(1)Expectatin Maximization(EM) Algorithm (期望值最大)
(2)Linear Regression Algorithm(线性回归)
(3)Local Weighted Regression(局部加权回归)
(4)k-Nearest Neighbor Algorithm for Regression(回归k近邻)
(5)Linear Classifier(线性分类)
(6)Perceptron Algorithm (线性分类)
(7)Fisher Discriminant Analysis or Linear Discriminant Analysis(LDA)
(8)k-NN Algorithm for Classifier(分类k近邻)
(9)Bayesian Decision Method(贝叶斯决策方法)
Lecture 2 Feed-forward works and BP Algorithm
(1)Multilayer Perceptron(多层感知器)
(2)BP Algorithm
Lecture 3 Rudiments of Support Vector Machine
(1)Support Vector Machine(支持向量机) (此算法是重点,必考题)
此处有一道必考题
Lecture 4 Introduction to Decision Rule Mining
(1)Decision Tree Algorithm
(2)ID3 Algorithm
(3) Algorithm
(4)粗糙集……
Lecture 5 Classifier Assessment and Ensemble Methods
Bagging
Booting
Adaboosting
Lecture 6 Introduction to Association Rule Mining
(1)Apriori Algorithms
(2)FP-tree Algorithms
Lecture 7 Introduction to Custering Analysis
(1)k-means Algorithms
(2)fuzzy c-means Algorithms
(3)k-mode Algorithms
(4)DBSCAN Algorithms
Lecture 8 Basics of Feature Selection
(1)Relief Algorithms
(2)ReliefF Algorithms
(3)mRMR Algorithms最小冗余最大相关算法
(4)attribute reduction Algorithms
比较了几种分类算法性质。(以下两个表格来自两篇该领域经典论文)
Lecture 1 Introduction to Supervised Learning
(1)Expectatin Maximization(EM) Algorithm (期望值最大)
①算法思想:
EM算法又称期望最大化算法,是对参数极大似然估计的一种迭代优化策略,它是一种可以从非完整的数据集中对参数进行极大似然估计的算法,应用于缺损数据,截尾数据,带有噪声的非完整数据。
最大期望算法经过两个步骤交替进行计算:
第一步计算期望(E):也就是将隐藏的变量对象能够观察到的一样包含在内,从而计算最大似然的期望值;
另外一步是最大化(M),也就是最大化在E步上找到的最大似然期望值,从而计算参数的似然估计。M步上找到的参数然后用于另一个E步计算。
重复上面2步直至收敛。
②优点:1)M步仅涉及完全数据极大似然,通常计算比较简单
2)收敛是稳定的,因为每次迭代的似然函数是不断增加的。
③缺点:1)表现在对缺失数据较多或是多维高斯分布的情形下,计算量大,收敛速度较慢。
2)对于某些特殊的模型,要计算算法中的M步,即完成对似然函数的估计是比较困难的。
3)在某些情况下,要获得EM算法中E步的期望显式是非常困难的。
4)EM算法的收敛速度,非常依赖初始值的设置,设置不当,计算代价相当大。
5)EM算法中的M-Step依然是采用求导函数的方法,所以它找到的是极值点,即局
部最优解,而不一定是全局最优解。
④改进:针对1)改进:扩大参数空间来加快收敛
针对2)改进:ECM算法,该算法通过在M步构建计算比较简单的小循环对EM
算法进行了改进,从而使期望函数极大化更加容易和有效,从而解决这一问题。
针对3)改进:MCEM算法,将E步积分求期望用蒙特卡洛模拟方法来实现,使
得E步求期望更容易实现