文档介绍：中南大学
硕士学位论文
基于强化学习的足球机器人决策系统设计
姓名:施卫强
申请学位级别:硕士
专业:控制理论与控制工程
指导教师:吴敏;曹卫华
20070522
摘要足球机器人是当前机器人研究中的一个热点,涉及机器人学、人机器人系统的核心,决定了机器人间的协调协作,是机器人的“大脑”。义。学习算法,动态地调整这三个参数,从而实现系统全局最优动作。法,将下层机器人的控制设计成为一个智能体,主要设计了三个角色程序来实现整个决策子系统的设计。通过在闱蚧魅朔抡足球机器人,多智能体,埃:劾啵讲隳P工智能、智能控制、计算机视觉等多个领域。决策系统作为整个足球因此,决策系统的研究在多机器人、多智能体领域具有十分重要的意本论文以足球机器人抡姹热Q芯慷韵螅攵源统的决策模型很难满足足球机器人系统在反应性、适应性、智能性和学习能力等方面的要求,提出一种基于改进暗淖闱蚧魅肆层协作模型。该模型把整个决策系统分为上下两层:协调层和运动控制层。上层协调层针对普通霸诨肪匙刺丛拥那榭鱿率樟菜俣较慢的缺点,通过分析足球机器人比赛的特性,采用模糊聚类的方法把数量众多的系统状态转化为为数不多的模糊状态,从而大大减少了暗淖刺占洌岣吡怂惴ǖ氖樟菜俣龋煌保攵云胀≦学习算法易收敛到局部最优,本文通过分析八惴ㄖ腥龉丶数奥蔭、折扣因子臀露戎礣淖饔茫岢鲆恢肿允视下层运动控制层,取代传统的机器人作为上层意图的简单执行方的智能体:防守队员、进攻队员和助攻队员,从而减轻协调层的决策任务,提高了系统的实时反应性。本文采用喑逃镅栽赪下编写动态链接库平台上进行仿真比赛,验证了所设计模型的有效性。关键词:生直盔堂亟±堂僮监塞埴要
。弧△旦悦,猯猯疭篟—琎—,虫直太望亟±堂焦鹑,,.’簃琣瓵,琣口,,,,瑆瑃..甀甀篶丁、.:
虫直友堂亟±堂僮论塞△旦雷埂曛猚
作者签名弛日期:上丝晟显旅巳日期:赳年王月幽原创性声明关于学位论文使用授权说明本人声明,所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知,除了论文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。本人了解中南大学有关保留、使用学位论文的规定,即:学校有权保留学位论文,允许学位论文被查阅或借阅;学校可以公开学位论文的全部或部分内容,可以采用复印、缩印或其他手段保存学位论文;学校可根据国家或湖南省有关部门规定送交学位论文。
第一章绪论研究背景与研究意义机器人技术集机械、材料、计算机、人工智能、传感器、信息处理和通信等技术于一体,是最新科技水平的重要标志之一【孀湃嗣嵌曰魅说囊G笤嚼越高,机器人应具有的功能也越来越强大,使得开发单个功能强大的机器人造价越来越高,研发的复杂程度也越来越大。针对这一问题,多机器人系统应运而生。人们通过建立多个功能简单、相互独立的机器人来组成一个多机器人系统,通过各个机器人之间的相互协作来共同完成一个复杂的问题,从而给机器人学科带了新的研究方向。在多机器人系统中,如何实现多个机器人之间的协作是最关键的问题。二十世纪,随着智能体际醯牟欢戏⒄购屯晟疲д呙前阎悄芴的概念引入到多机器人系统中,通过把每个机器人设计成一个佣槌一个多智能体系统ü捎枚嘀悄芴宓男鞣法来实现多机器人的协调和协作,并取得了一定的成果。目前,多智能体的研究已经成为人工智能的一个前沿学科【俊足球机器人是人工智能与机器人领域极富挑战性的高技术密集项目,同时又是人工智能技术的一个理想突破点。它涉及的主要研究领域有;小车机械、机器人学、机电一体化、数据融合、精密仪器、实时数字信号处理、图像处理与图像识别、知识工程与专家系统、决策、轨迹规划、自组织与自学习理论、多智能体协调、以及无线通讯等。机器人足球比赛,是近年来在国际上迅速开展起来的高技术对抗活动,并引起了越来越多的学者的关注和研究兴趣。其中,足球机器人决策子系统的研究将在多智能体协作、协调和学习方面起到推动作用。本文针对传统足球机器人决策子系统在反应性、适应性、智能性和自学习能力等方面的不足,进行了深入的研究,提出了基于强化学习的两层决策模型,实现了机器人的在线学习,从而提高了系统的适应性和自学习能力。本章简要介绍课题研究背景与国内外研究现状,并提出课题研究目标。用机器人进行足球比赛,这一概念首先由,暝谄湮恼隆癘”中提出【俊U一提议得到了广泛的赞同。韩国学者金钟焕于年开始主办微型机器人足球中南大学硕士学位论文
国内外研究现状比赛;日本的学者北田宏明提出了机器人世界杯足球赛,并在年得以实施目前,国际上机器人足球已发展为两大系列,一是由国际机器人足联组织的微型机器人世界杯足球赛涣硪桓鍪怯晒嗜斯ぶ悄