文档介绍：深度强化学****br/>第一页，共23页。
Background
Q-learning学****过程可写成下面公式:
第二页，共23页。
Background
上面的公式是，将旧的Q-learning函数Qold(st,at)向深度强化学****br/>第一页，共23页。
Background
Q-learning学****过程可写成下面公式:
第二页，共23页。
Background
上面的公式是，将旧的Q-learning函数Qold(st,at)向着学****目标(当前获得的Reward加上下一步可获得的最大期望价值)按一个较小的学****速率α学****得到新的Q-learning函数Qnew(st,at)。
其中学****速率决定了我们使用新获取的样本信息覆盖之前掌握的信息的比率，通常设为一个较小的值，可以保证学****过程的稳定，同时确保最后的收敛性。
第三页，共23页。
Background
Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.
第四页，共23页。
从RL看结合Deep Learning的困难之处
深度学****的成功依赖于大量的有标签的样本，从而进行有监督学****而增强学****只有一个reward返回值，并且这个值还常常带有噪声，延迟，并且是稀少的。特别是延迟，常常是几千毫秒之后再返回。
深度学****的样本都是独立的，而RL中的state状态却是相关的，前后的状态是有影响的，这显而易见。
深度学****的目标分布是固定的。但增强学****分布却是一直变化的。
第五页，共23页。
增强学****要结合深度学****存在的三个问题：
没有标签怎么办？
样本相关性太高怎么办？
目标分布不固定怎么办？
第六页，共23页。
解决之道 CNN + Q-Learning = Deep Q Network:
通过Q-Learning使用Qvalue来构造标签
通过experience replay的方法来解决相关性及非静态分布问题
第七页，共23页。
DQN算法
第八页，共23页。
DQN算法
记忆库 (用于重复学****br/>神经网络计算 Q 值
暂时冻结 q_target 参数 (切断相关性)
第九页，共23页。
为了使用 Tensorflow 来实现 DQN, 比较推荐的方式是搭建两个神经网络, target_net 用于预测 q_target 值, 他不会及时更新参数.
eval_net 用于预测 q_eval, 这个神经网络拥有最新的神经网络参数. 不过这两个神经网络结构是完全一样的, 只是里面的参数不一样.
第十页，共23页。
DQN网络结构
第十一页，共23页。
DQN网络结构
第十二页，共23页。
DQN结构设置
在DQN中引入卷积层
第十三页，共23页。
DQN结构设置
加入Experience Replay.
因为深度学****需要大量的样本，所以传统的Q-learning的online update的方法可能不太适合DQN。Experience Replay的主要思想是存储Agent的Experience(即样本)，并且每次训练时随机抽取一部分样本供给网络学****br/>第十四页，共23页。
DQN结构设置
使用两个DQN网络。
第二个DQN网络用来辅助训练，一般称其为target DQN,它的作用是辅助计算目标Q值，即提供学****目标公式里的maxaQ(st+1,a)。这样做的目的是避免让网络训练陷入目标Q值与预测Q值的反馈循环中。
第十五页，共23页。
DQN结构设置
Double DQN
网络中在主DQN上通过其最大Q值选择Action，再去获取这个Action在target DQN上的Q值。这样主网络负责选择Action,而这个被选定的Action的Q值则由target DQN生成。
第十六页，共23页。
Dueling DQN
Dueling DQN将Q值的函数Q(st,at)拆成两部分，一部分是静态的环境状态本身具有的价值V(st),称为Value;另一部分是动态的通过选择某个Action额外带来的价值A(at),称为Advantage。而Q值由这两部分组合而成：
DQN结构设置
第十七页，共23页。
DQN-environment
第十八页，共23页。
Dueling DQN
第十九页，共23页。
DQN
第二十页，共23页。
DQN
第二十