文档介绍：兰州理工大学硕士学位论文杂波环境下基于异类信息融合的目标跟踪姓名:魏建勇申请学位级别:硕士专业:控制理论与控制工程指导教师:曹洁20090515硕士学位论文摘要在人机交互、智能教室、视频会议、特定环境监控等系统中,如何利用视听媒体间存在的天然时空相关性,将视觉信息和听觉信息有效地融合,从而实现对目标的跟踪、识别、判决等,是异类信息融合领域的一个热点问题,习惯上人们也称之为多媒体信息融合。本文充分总结和讨论了关于信息融合、视觉跟踪、声源定位以及滤波器性能的基本理论和研究现状,并在此基础上,给出了两种基于视频与音频信息融合的人物跟踪算法。一种采用多层次卡尔曼滤波器作为融合工具,建立视听信息特征级融合模型。一种以简化的重要性采样粒子滤波-器(ISPF:importancesamplingparticlefilter)作为融合工具,建立视听信息决策级融合模型。在特征级视听信息融合模型中,首先对采集得到的视觉和听觉信息单独处理,利用机器视觉相关理论获取目标的图像速度,同时采用基于时延的声源定位技术获取目标的实际运动速度,将两类速度的比值作为中间变量,对这一变量保持更新,并反馈给视觉跟踪系统,从而得到目标位置的最优估计。在决策级视听信息融合模型中,采用简化的ISPF算法为工具,将重要性函数的设计问题简化为对重要性粒子的选择问题,以基于颜色信息的模版匹配作为底层跟踪,对稳定的音频信息进行处理,获取一个具有特殊权重的中心粒子,通过该粒子对底层的视觉跟踪加以限制和引导。最后,通过仿真验证了上述视听融合模型的可行性,基于视听信息融合跟踪算法对光照条变、背景变化、人物混叠等杂波干扰都具有一定的鲁棒性。同时对两种融合策略进行了对比,通过对仿真结果的分析可以判定基于决策级的视听融合更具优越性。关键词:异类信息融合;视听融合;目标跟踪;卡尔曼滤波:粒子滤波;ISPF本文的研究工作受甘肃省自然科学基金(编号:0710RJZA060)的资助。puterinteraction,smartclassroom,videoconferencingandspecificenvironmentalmonitoring,etc.,,,visualtracking,,—,andanotheriSutilizedimprovedISPF(importancesamplingparticlefilter)asfusiontooltoestablishthemodelofAudio-visualinformationfusionindecision--visualinformationfusionincharacteristiclevel,firstly,,