文档介绍：案例一：
——基于LSTM生成藏头诗
Page
项目介绍
设计目标
设计背景
1
2
3
4
LSTM原理
最终结果
5
实验小结
6
技术路线
Page
设计背景
藏头诗，又名“藏头格”,有三种形式：一种是首联与中二联六句皆言所寓之景，二是将诗头句一字暗藏于末一字中；三是将所说之事分藏于诗句之首。现在常见的是第三种，每句的第一个字连起来读，可以传达作者的某种特有的思想。
藏头诗对加快青少年大脑运作效率、丰富词汇、提高语文水平也有一定的促进作用。
唐代是我国历史上诗歌产出最多的时代，素材丰富，我们可以用LSTM来生成唐诗风格的藏头诗。
Page
设计目标
搭建LSTM模型，通过学习数百万行唐诗，训练生成相应的模型。通过指定诗头，随机生成满足对偶等风格的藏头唐诗。
Page
技术路线
步骤三
LSTM原理
步骤一
数据预处理
步骤二
理解RNN
步骤四
LSTM的应用和搭建
Page
对RNN的理解
对于一些与序列有关的信息的处理，比如一句话中下一个单词的预测、语音识别等场景中，原来的基于全连接神经网络的方法存在参数太多，无法利用数据中时间序列信息等问题。
循环神经网络的主要用途是处理和预测序列数据。
RNN的前一个隐藏层的输出在输出到本单元的全连接层的同时，也作为下一个单元的输入。
RNN的单元神经网络及展开图如下所示：
Page
LSTM原理
LSTM 是在基于循环神经网络的基础之上增加了遗忘门、输入门、输出门，
LSTM 的关键就是细胞状态，细胞状态类似于传送带。直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。LSTM 有通过精心设计的称作为“门”的结构来去除或者增加信息到细胞状态的能力。LSTM 拥有三个门，来保护和控制细胞状态。
LSTM包含一个 sigmoid 神经网络层和一个pointwise 乘法操作。Sigmoid 层输出 0 到 1 之间的数值，描述每个部分有多少量可以通过。0 代表“不许任何量通过”，1 就指“允许任意量通过”！
Page
遗忘门
在 LSTM 中的第一步是决定我们会从细胞状态中丢弃什么信息。这个决定通过一个称为忘记门层完成。该门会读取 h_t-1 和 x_t，输出一个在0 到 1 之间的数值给每个在细胞状态 C_t-1中的数字。1 表示“完全保留”，0 表示“完全舍弃”。
Page
输入门
这一步是确定什么样的新信息被存放在细胞状态中。这里包含两个部分。第一，sigmoid 层称“输入门层” 决定什么值我们将要更新。然后，一个 tanh 层创建一个新的候选值向量会被加入到状态中。下一步，会将这两个信息来产生对状态的更新。
Page
输出门
这一步需要确定输出什么值。这个输出将会基于细胞状态，但是也是一个过滤后的版本。首先，我们运行一个 sigmoid 层来确定细胞状态的哪个部分将输出出去。接着，我们把细胞状态通过tanh 进行处理（得到一个在 -1 到 1 之间的值）并将它和 sigmoid 门的输出相乘，最终我们仅仅会输出我们确定输出的那部分。