文档介绍：LDA算法入门
LDA算法概述：
线性判别式分析(LinearDiscriminantAnalysis,LDA)，也叫做Fisher线性判别(FisherLinearDiscriminant,FLD),是模式识别的经典算法，它是在199也可推出分母为样本在投影9空间下的类内几何距离的平方差，所以分类问题就转化到找一个低维空间使得样本投影到该空间下时，投影下来的类间距离平方和与类内距离平方和之比最大，即最佳分类效果。
所以根据上述思想，即通过最优化下面的准则函数找到有一组最优鉴别矢量构成
1
的投影矩阵W（这里我们也可以看出一可以通过分子分母约掉，所以前面所optm
提到的第一组公式和第二组公式所表达的效果是一样的）。
WtSW
()
W=argmaxb—
optWtSw
w
可以证明，当S为非奇异（一般在实现LDA算法时，都会对样本做一次pcaw
算法的降维，消除样本的冗余度，从而保证S是非奇异阵，当然即使S为奇异ww
阵也是可以解的，可以把S或\对角化，这里不做讨论，假设都是非奇异的情wb
况）时，最佳投影矩阵W的列向量恰为下来广义特征方程
opt
s申=^S申（）
bw
的d个最大的特征值所对应的特征向量（矩阵S-1S的特征向量），且最优投影轴
wb
的个数d<c—1。
根据（）式可以推出
s申"S申（）
biwi
又由于w=,申申］
12d
下面给出验证：把（）式代入（）式可得：
S9
=九S9
9TS9
二9t九S9
b1
1w1
1b1
11w1
•
•
•
•
•
•
n:
•
•
•
•
S9
bd
=九S9
dwd
9tS9:
dbd
=9t九S9
ddwd
()
9tS9
9T九S9
九9tS9
nmax
=丨ibi二
Jiiwi=
iiwi=X
9tS9
Iiwi
9tS9
1iwi
9tS9i
iwi
根据公式的意义来看，要使得max
最大则只要取九
即可。所以根据公式（）
i
可得出结论：投影矩阵W的列向量为d（自取）个最大特征值所对应的特征opt
向量，其中d<c-1。
四．算法的物理意义和思考

下面我们利用LDA进行一个分类的问题：假设一个产品有两个参数来衡量它是否合格，
我们假设两个参数分别为：

沃沁数据来源：%
所以我们可以根据上图表格把样本分为两类，一类是合格的，一类是不合格的
所以我们可以创建两个数据集类：
cls1_data=

cls2_data
=