文档介绍：中国科学技术大学
硕士学位论文
基于可见光图像和红外热像融合的自发表情识别
姓名:吕思亮
申请学位级别:硕士
专业:计算机应用技术
指导教师:王煦法
2011-04
摘要
摘要
随着计算机科学技术和人工智能的快速发展,以及社会自动化程度的不断提
高,人机交互的拟人化程度成为了一个越来越受到重视的课题,人脸表情识别技
术因此诞生。它作为一个交叉了心理学、工程学、数据挖掘、人工智能等学科的
重要课题,越来越被众多研究机构和研究者所关注。近些年来,在相应较为成熟
的人脸识别技术、人脸跟踪技术、脸部器官定位技术等的帮助下,人脸表情识别
技术取得了较多的研究成果。然而,目前的研究主要针对的是人为表情的识别,
对于用户在自然条件下的自发表情识别的研究成果较为有限。此外,利用可见光
图像和红外热像这两种相互独立光源的融合进行表情识别也可能会是对单一光
源图像表情识别的一种改进。因此,本文将在自发表情识别以及融合图像的表情
识别方面进行相关的研究。
本文工作如下:
1、提出基于小波变换的红外特征提取和表情识别方法。首先对图像进行二
层 2D 小波变换,并基于聚类优化的欧式距离最大化原则选择小波变换后的低频
部分作为特征,最后采用 K-近邻分类识别器进行分类识别,在 Equinox 数据库
和 USTC-NVIE 数据库上进行了对比,验证了方法的有效性。
2、提出了一个基于标准协同训练思想的红外-可见融合表情识别方法。提取
可见光图像的外观特征和红外热像中的低频小波特征,分别利用两个 K-近邻子
分类器进行分类,并将分类结果进行互相的反馈,调整彼此的 K-近邻分类器的
对照样本空间,通过后验概率获得两个子分类器的置信权值,并进行加权决策识
别,,在 USTC-NVIE 数据库上进行了实验验证,实验结果表明该方法可以在一
定程度上提高表情识别的识别率。
3、提出了一个红外辅助可见光图像的表情识别方法,提取可见光图像的外
观特征和红外热像中的低频小波特征,首先对可见光图像进行 K-近邻分类器的
训练,再利用红外热像特征对可见光图像的训练结果中分类错误的样本进行重分
类,并调整 K-近邻分类器的对照样本空间。在 USTC-NVIE 数据库上进行了实验
验证,实验结果表明该方法可以提高表情识别的识别率,是对单独利用可见光图
像或红外热像的表情识别的一种改进。

关键词:人脸表情识别自发表情红外-可见图像融合
I
Abstract
ABSTRACT
AS the rapid development puter Science and Technology and Artificial
Intelligence, and the improvement of automation level, How to being more
anthropopathic munication puter is paid more and more attention. The
research of Facial Expression Recognition has e out. It is focused by so
many researchers because it’s a subject crossed by Psychology, Engineering, Data
Mining, Artificial Intelligence and so on. The research results of Facial Expression
Recognition are quickly increased through the help of Face Recognition, Face
Detection and Location. While many researches now are for the posed expressions,
and few spontaneous expression recognition technology are researched. Also, the
fusion of visible and infrared images may increase recognition rates as it contains
more information that singal-light images. Therefore, this paper will do some research
on spontaneous expression