文档介绍：深度学****2）
第7章
2020年7月
第7章 深度学****2）
引言
深度学****是机器学****领域一个新兴的研究方向，通过模仿人脑结构，实现对复杂输入数据的高效处理，智能地学****不同的知识，而且能够有效地解决多类复杂的智能问的记忆模块，将和任务相关的短期记忆保存在辅助记忆中，需要时再进行读取。
这个引入的结构化辅助记忆一般称为外部记忆，以区别于循环神经网络的内部记忆(即隐状态)。
外部记忆有两个特点：
(1)结构性。记忆通过结构化的方法来存储，一般用一个向量来表示一个记忆片段。用一组向量来表示多个记忆。记忆的组织方式可以是数组、树、栈或队列等。
(2)内容地位。按内容寻址要访问外部记忆中存储的信息，需要通过按内容的寻址方式进行定位，然后进行读取或写入操作。通常使用注意力机制来进行按内容寻址。
第7章 深度学****2）
注意力与记忆机制
常见的记忆方式
3. 基于神经动力学的联想记忆
结构化的外部记忆更多是受现代计算机架构的启发，将计算和存储功能进行分离，这些外部记忆的结构也缺乏生物学的解释性。为了具有更好的生物学解释性，还可以将基于神经动力学的联想记忆模型引入到目前的神经网络以增加网络容量。
联想记忆模型主要是通过神经网络的动态演化来进行联想，有两种应用场景：
(1)输入的模式和输出的模式在同一空间，这种模型叫做自联想记忆模型。自联想模型可以通过前馈神经网络或者循环神经网络来实现，也经常称为自编码器。
(2)输入的模式和输出的模式不在同一空间，这种模型叫做异联想记忆模型。从广义上讲，大部分模式识别问题都可以看作是异联想，因此异联想记忆模型可以作为分类器使用。
联想记忆模型是Hopfield网络的一个重要应用范围。
第7章 深度学****2）
注意力与记忆机制
常见的记忆方式
第7章 深度学****2）
注意力与记忆机制
典型的记忆网络
第7章 深度学****2）
注意力与记忆机制
典型的记忆网络
第7章 深度学****2）
注意力与记忆机制
典型的记忆网络
第7章 深度学****2）
注意力与记忆机制
典型场景应用
1. 机器翻译
注意力机制最成功的应用是机器翻译。一般的神经机器翻译模型采用“编码-解码”的方式进行序列到序列的转换。这种方式有两个问题：一是编码向量的容量瓶颈问题，即源语言所有的信息都需要保存在编码向量中，才能进行有效地解码；二是长距离依赖问题，即编码和解码过程中在长距离信息传递中的信息丢失问题。通过引入注意力机制，可以有效地解决上面的两个问题。
2. 语音识别
语音识别的任务目标是将语音流信号转换成文字，加入注意力机制后起到将输出字符和输入语音信号进行对齐的功能。
3. 图像描述生成
图像描述生成是输入一幅图像，输出这幅图像对应的描述。在图像描述生成的任务中，同样存在编码容量瓶颈以及长距离依赖这两个问题，因此也可以利用注意力机制来有效地选择信息。在生成描述的每一个单词时，循环神经网络的输入除了前一个词的信息，还有利用注意力机制来选择一些来自于图像的相关信息。
注意力与记忆机制
ONTENTS
C
内容大纲
自编码器
强化学****br/>
对抗学****br/>
小结与思考
联邦学****br/>第7章 深度学****2）
第7章 深度学****2）
自编码器
概述
自编码器是深度学****中的一种非常重要的无监督学****方法，能够从大量无标签的数据中自动学****得到蕴含在数据中的有效特征。因此，自编码方法近年来受到了广泛的关注，已成功应用于很多领域，例如数据分类、模式识别、异常检测、数据生成等。
传统自编码器(Auto-Encoder)的概念最早来自于Rumelhart等人(1986)在《Nature》上发表的论文。随后，Bourlard等人(1988)对其进行了详细的阐述。自编码器具有重建过程简单、可堆叠多层、以神经科学为支撑点的优点。自编码器在近几年内得到高速的发展，这是因为在自编码器发展早期，理论研究占主要地位，因此新型自编码器的提出比较缓慢，后期由于理论基础的成熟，各种针对研究领域的自编码器被相继提出，并取得了令人满意的效果。目前，自编码器和玻尔兹曼机的用法非常类似。自编码器由于内部层数不能太深，因此单个自编码器通常被逐个训练，然后堆叠多个自编码器的编码层，以完成深度学****的训练过程。
第7章 深度学****2）
自编码器
传统自编码器
第7章 深度学****2）
自编码器
传统自编码器
第7章 深度学****2）
自编码器
传统自编码器