文档介绍：:..摘要随着智能系统FI新月益的发展和使用,其对未知环境的适应性就成为迫切需求。而使机器能够从未知环境学习是实现人工智能的一大突破。目前的机器学习技术主要分为监督学习、非监督学习和强化学习三大类。其中强化学习是一种以环境反馈作为输入的,特殊的、适应环境的学习。它将环境抽彖成若干状态,通过不断试错强化而产生状态到行为的最优化映射。然而实际环境的状态数无限或连续或状态不完全可知,因此很难以用数学模型精确定义系统。加上强化学习算法的收敛性较慢,因此如何能够优化的建立环境模型,如何提高算法效率就成为强化学习面临的主要问题。本次论文首先介绍强化学习的概念、建立系统模型,再介绍几种经典的强化学习算法,接着介绍冃前解决若干问题而提出的POMDP模型,PSR模型、HRL模型,最后就PSR模型提出一种新的算法。关键词:强化学习;蒙特卡诺法;TD算法;Q学习;Sasar学习;POMDP模型;PSR模型;HRL模型强化学习技术是从控制理论、统计学、心理学等相关学科发展而來的,最早可追溯到巴普洛夫的条件反射实验。但直到20世纪80年代末90年代初,强化学习技术才在人工智能、机器学习和自动控制等领域中得到广泛的研究和应用,并被认为是设计智能系统的核心技术之一。特别是随着强化学习的数学基础研究取得突破性进展以后,对强化学习的研究和应用日益开展起来,成为目前机器学习领域的研究热点之一。::强化学习将学习当作是一个不断试探并评价的过程。我们将有智能的学习体称为agent,将系统分成若干个状态,每个状态S可以有不同的动作选择,对应的每个选择也就有一个值函数Q(s,a)。Agent选择一个动作a作用于环境,环境接收该动作后状态发生变化(SJ,同时产生一个强化信号r(奖赏)给agent,agent根据这个奖赏评价刚才的动作的好坏进而修改该动作值,并选择下一动作H。对于一个强化学习系统来讲,其目标是学习一个行为策略:Ti:S->A,使系统选择的动作能够获得环境奖赏的累计值艺r最大。当一个动作导致环境给正的奖赏时这种动作的趋势就被加强,反Z则减弱。强化学习的目的就是要学习从状态到动作的最佳映射,以便使奖励信号最大化。【10,11]这和生理学中的条件反射原理是接近的。强化学习的框架如图:新状态S':通常,我们从五个角度对环境进行分析:【4】角度一:离散状态vs连续状态角度二:状态完全可感知vs状态部分可感知角度三:插曲式vs非插曲式角度四:确定性vs不确定性角度五:静态VS动态其中的插曲式是指智能系统在每个场景中学习的知识对下一场景中的学习是有用的。确定性是指状态在选择动作后迁移是确定的,而不是依赖某种概率。进一步,如果状态迁移的概率是不变的则是静态环境,否则为动态环境。在强化学习中,我们首先考虑最简单的环境模型随机、离散状态、离散时间对其数学建模。我们通常用马尔科夫模型:马尔科夫状态:一个状态信号保留了所有的相关信息,则就是马儿科夫的。马儿科夫决策过程(MDP)[2]:由四元组vS,A,R,P>定义。包含一个环境状态集S,系统行为集合A,奖赏函数:SXA->R和状态转移函数P:SXAoPD(S)。记R(s,a