文档介绍：Lecture 4
Kong Wei
******@.
Department of Electronic Engineering,
College of Information Engineering, SMU
Linear Discriminant Functions
线性判别函数
内容目录
引言
Fisher线性判别
感知准则
最小错分样本准则
最小平方误差准则
多类问题
讨论
引言
分类器功能结构:
基于样本的Bayes分类器:通过估计类条件概率密度函数,设计相应的判别函数。
MAX
g1
.
.
.
g2
gc
.
.
.
x1
x2
xn
a(x)
最一般情况下适用的“最优”分类器:错误率最小,对分类器设计在理论上有指导意义。
获取统计分布及其参数很困难,实际问题中并不一定具备获取准确统计分布的条件。
训练样本集
样本分布的 统计特征: 概率密度函数
决策规则: 判别函数 决策面方程
直接确定判别函数
基于样本的直接确定判别函数方法:
针对各种不同的情况,使用不同的准则函数,设计出满足这些不同准则要求的分类器。
这些准则的“最优”并不一定与错误率最小相一致:次优分类器。
实例:正态分布最小错误率贝叶斯分类器在特殊情况下,是线性判别函数g(x)=wTx(决策面是超平面),能否基于样本直接确定w?
训练样本集
决策规则: 判别函数 决策面方程
选择最佳准则
判别函数
假设对一模式X已抽取n个特征,表示为:
模式识别问题就是根据模式X的n个特征来判别模式属于ω1 ,ω2 , …, ωm 类中的那一类。
判别函数分类
判别函数包含两类:
一、线性判别函数
:把非线性判别函数映射
到另外一个空间变成线性判别函数。
二、非线性判别函数
线性判别函数——两类问题
两类问题,即:
2维情况,即取两个特征向量
判别函数:
在两类别情况,判别函数 g (x) 具有以下性质:
二维情况下判别由判别边界分类.
n维情况
现抽取n个特征为:
判别函数:
另外一种表示方法:
分类判别函数, g (x) = WTX = 0 为判别边界。
n=2时,二维情况的判别边界为一直线。
n=3时,判别边界为一平面,
n>3时,则判别边界为一超平面。