文档介绍：河北工业大学
硕士学位论文
基于视觉听觉交叉模式的机器人感知技术的研究
姓名:付洪保
申请学位级别:硕士
专业:机械电子工程
指导教师:李铁军
20061101
河北工业大学硕士学位论文
基于视觉听觉交叉模式的机器人感知技术的研究
摘要
机器人感知技术是机器人智能化发展的重要手段之一。机器人视觉技术极大地拓宽了
机器人的应用范围,提高了机器人的工作效率。但在很多情况下机器人视觉并非总尽如人
意。在一些复杂动态的环境下,机器人既要能迅速地感知并适应环境,而且还要能根据环
境信息变化、任务要求做出决策。单一的视觉感知方式显然不能满足这种实时性要求。人
类最终希望机器人不仅能拓展人所不及,更希望机器人能具备人(或类人)的思维、情感、
模式识别能力。最近,伴随着神经科学、认知科学和解剖学的发展,人类对自身大脑有了
更深刻的了解。人类的交叉模式感知、注意机制得到了深入的研究,并取得了很多成果。
传统人工智能经过初期的飞速发展后似乎陷入了瓶颈,人们自然地将注意力转向脑与认知
科学,希望认知科学的研究发现能给机器人研究带来突破。人类应用注意机制对感知的信
息进行选择和过滤,从而提高了信息处理效率。人类的交叉模式感知能力提高了人类对环
境的探测能力和模式识别能力。机器人所面对的信息远远超过它的处理能力。把机器人有
限的信息计算资源配置给当前机器人最关心、最紧迫的任务,注意机制和交叉模式感知无
疑具有重要的理论意义和应用价值。本文以脑与认知科学关于交叉模式认知和注意的研究
发现为基础,建立机一种器人交叉模式感知和朝向机制注意机制,使机器人能够快速准确
地感知到环境目标,从而为进一步认知奠定基础。
本文的主要研究内容与成果如下:
1. 分析总结了脑与认知科学、神经生理学在人类交叉模式认知机制上的研究成果,
对人类听觉通路、视觉通路、听觉神经元感受野和交叉模式神经元感受野特性进行了总结
2. 根据神经生物学启示,仿照人类听知觉空间,以听觉神经元感受野数学模型为基
础建立了机器人听觉空间感知图、并将其转换为图像形式,应用图像处理技术从而提高了
机器人听觉目标检测的准确性和稳定性。。
3. 以机器人视觉技术为基础,建立了机器人视觉空间感知图,并和机器人听觉空间
感知图融合、配准,建立了机器人交叉模式空间感知图。以此为基础,建立机器人交叉模
式朝向注意模型,使机器人能快速的注意到环境视觉目标或(和)听觉目标。
4. 设计了基于视觉、听觉的目标朝向注意仿真实验系统,采用 LabVIEW 图形化语言
开发了视觉、听觉信息处理软件,对典型的朝向注意事例进行了实验验证。
实验结果表明,本文听觉朝向注意模型目标检测精度一般在-5º~+5º之间,由于对听觉
目标检测采用了图像处理技术,使听觉目标检测达到了视觉目标检测的精度,同时弥补了
当视觉目标模糊、被遮挡或完全不可见时视觉目标检测的局限性。
关键词: 机器人,视觉感知,听觉感知,交叉模式感知,朝向注意
i
基于视觉听觉交叉模式的机器人感知技术的研究
RESEARCH ON ROBOT CROSS-MODAL
PERCEPTION TECHNOLOGY BASED ON
VISUAL-AUDIO CUES
ABSTRACT
Robot perception technology is one of the most important method of robot intelligent
development. Nowadays the advances of robot vision have not only greatly broadened the
application of the robot but also improved the efficiency of the robot’s work. But in most
conditions the performance of the robot does not always satisfy the demands of the owner.
Especially in plex and dynamic environment, robot is needed to be adapted to the
circumstance rapidly and can make decisions according to the changes of the circumstance and
the task. Visual