文档介绍：判别分析 （ Discriminant Analysis ）
一、概述：
判别问题又称识别问题，或者归类问题。
判别分析是由 Pearson 于 1921 年提出， 1936 年由 Fisher 首先提出根据不同类别所提取的特征变量来定量的建立待判样品归属于哪一个已知类别的数学模型。
根据对 训练样本 的观测值建立判别函数，借助判别函数式判断未知类别的个体。
所谓 训练样本 由已知明确类别的个体组成，别变量。
并且都完整准确地测量个体的有关的判
训练样本的要求：类别明确，测量指标完整准确。一般样本含量不宜过小，但不能
为追求样本含量而牺牲类别的准确，如果类别不可靠、测量值不准确，即使样本含量再大，任何统计方法语法弥补这一缺陷。
判别分析的类别很多，常用的有：适用于定性指标或计数资料的有 最大似然法 、训练迭代法 ；适用于定量指标或计量资料的有： Fisher 二类判别、 Bayers 多类判别以及逐步判别。 半定量指标界于二者之间，可根据不同情况分别采用以上方法。
类别（有的称之为总体， 但应与 population 的区别） 的含义——具有相同属性或者特征指标的个体（有的人称之为样品）的集合。如何来表征相同属性、相同的特征指标呢？
同一类别的个体之间距离小，不同总体的样本之间距离大。
距离是一个原则性的定义，只要满足对称性、非负性和三角不等式的函数就可以称
为距
绝对距离
马氏距离： （ Manhattan distance ）
设有两个个体（点） X
与 Y（假定为一维数据，即在数轴上）是来自均数为
，协
方差阵为
的总体（类别）
A
的两个个体（点） ，则个体 X 与 Y 的马氏距离为
D（X，Y） （X
T
1
Y），类似地可以定义个体 X 与总体（类别） A 的距离
Y） （X
为 D（X，A） （X
T
1
）
） （ X
明考斯基距离 （ Minkowski distance ） : 明科夫斯基距离
欧几里德距离 （欧氏距离）
二、 Fisher 两类判别
一、训练样本的测量值
类训练样本
编号
1
2
nA
均数
编号
1
2
nB
均数
x1
x2
xm
xA11
xA12
xA1m
xA21
xA 22
xA2 m
xAnA 1
xAnA 2
xAnA m
xA1
xA2
xAm
B 类训练样本
x1
x2
xm
xB11
xB12
xB1m
xB 21
xB 22
xB2 m
xBnB 1 xBnB 2 xBnB m
xB1 xB2 xBm
二、建立判别函数 (Discriminant Analysis Function) 为：
Y C1 X1 C2 X 2 Cm X m
其中： C1 、 C2 和 Cm 为判别系数（ Discriminant Coefficient ）
可解如下方程组得判别系数。
w11C1 w12C2 w1mCm x1 ( A) x1(B)
w21C1 w22C2 w2 mCm x2 ( A) x2 ( B)
wm1C1 wm2C2 wmmCm xm( A) xm (B)
各类的离差阵分别以 L(A) 、 L(B) 表示
L11
(A)
L12
( A)
L1m (A)
L21
( A)
L22
( A)
L2 m ( A)
L(A)
Lm1( A)
Lm2 ( A)
Lmm ( A)
L11 (B) L12 (B)
L1m (B)
L21 (B) L22 (B)
L2 m (B)
L (B)
Lm1( B) Lm2 (B)
Lmm (B)
类内离差阵 W 为 L(A) 、 L(B) 之和
W L (A) L(B)
w11
w12
w1m
w21
w22
w2m
W
wm1
wm2
wmm