第五门课序列模型(Sequence Models)

第一周循环序列模型（Recurrent Neural Networks）

第五门课序列模型(Sequence Models)第一周循环序列模型（Recurrent Neural Networks）1.1 为什么选择序列模型？（Why Sequence Models?）

1.1 为什么选择序列模型？（Why Sequence Models?）

在本课程中你将学会序列模型，它是深度学习中最令人激动的内容之一。循环神经网络（RNN）之类的模型在语音识别、自然语言处理和其他领域中引起变革。在本节课中，你将学会如何自行创建这些模型。我们先看一些例子，这些例子都有效使用了序列模型。

$X$ $Y$ $X$ $Y$ 是一系列单词。所以之后将要学到的一些序列模型，如循环神经网络等等在语音识别方面是非常有用的。

$Y$ $X$ $Y$ 。

$X$ 是序列，你会得到类似这样的输入：“There is nothing to like in this movie.”，你认为这句评论对应几星？

系列模型在DNA序列分析中也十分有用，你的DNA可以用A、C、G、T四个字母来表示。所以给定一段DNA序列，你能够标记出哪部分是匹配某种蛋白质的吗？

在机器翻译过程中，你会得到这样的输入句：“Voulez-vou chante avecmoi?”（法语：要和我一起唱么？），然后要求你输出另一种语言的翻译结果。

在进行视频行为识别时，你可能会得到一系列视频帧，然后要求你识别其中的行为。

在进行命名实体识别时，可能会给定一个句子要你识别出句中的人名。

$(X,Y)$ $X$ $Y$ $X$ $Y$ $X$ $Y$ $X$ $Y$ 是序列。

所以在本节我们学到适用于不同情况的序列模型。

下节中我们会定义一些定义序列问题要用到的符号。

###1.2 数学符号（Notation）

本节先从定义符号开始一步步构建序列模型。

比如说你想要建立一个序列模型，它的输入语句是这样的：“Harry Potter and Herminoe Granger invented a new spell.”，(这些人名都是出自于J.K.Rowling笔下的系列小说Harry Potter)。假如你想要建立一个能够自动识别句中人名位置的序列模型，那么这就是一个命名实体识别问题，这常用于搜索引擎，比如说索引过去24小时内所有新闻报道提及的人名，用这种方式就能够恰当地进行索引。命名实体识别系统可以用来查找不同类型的文本中的人名、公司名、时间、地点、国家名和货币名等等。

$x$ $y$ $y$ 能够表明输入的单词是否是人名的一部分。技术上来说这也许不是最好的输出形式，还有更加复杂的输出形式，它不仅能够表明输入词是否是人名的一部分，它还能够告诉你这个人名在这个句子里从哪里开始到哪里结束。比如Harry Potter（上图编号1所示）、Hermione Granger（上图标号2所示）。

更简单的那种输出形式:

$x^{<1>}$ $x^{<2>}$ $x^{<3>}$ $x^{<9>}$ $x^{<t>}$ $t$ $t$ 来索引序列中的位置。

$y^{<1>}$ $y^{<2>}$ $y^{<3>}$ $y^{<9>}$ $T_{x}$ $T_{x}= 9$ $T_{y}$ $T_{x} =T_{y}$ $T_{x}$ $T_{y}$ 可以有不同的值。

$x^{(i)}$ $i$ $t$ $t$ $x^{\left(i \right) <t>}$ $T_{x}$ $T_{x}^{(i)}$ $i$ $y^{\left( i \right) < t>}$ $i$ $t$ $T_{y}^{(i)}$ $i$ 个训练样本的输出序列的长度。

$T_{x}^{(i)}=9$ $T_{x}^{(i)}=15$ 。

既然我们这个例子是NLPHarry $x^{<1>}$ 实际应该是什么？

接下来我们讨论一下怎样表示一个句子里单个的词。想要表示一个句子里的单词，第一件事是做一张词表，有时也称为词典，意思是列一列你的表示方法中用到的单词。这个词表（下图所示）中的第一个词是a，也就是说词典中的第一个单词是a，第二个单词是Aaron，然后更下面一些是单词and，再后面你会找到Harry，然后找到Potter，这样一直到最后，词典里最后一个单词可能是Zulu。

因此a是第一个单词，Aaron是第二个单词，在这个词典里，and出现在367这个位置上，Harry是在4075这个位置，Potter在6830，词典里的最后一个单词Zulu可能是第10,000个单词。所以在这个例子中我用了10,000个单词大小的词典，这对现代自然语言处理应用来说太小了。对于商业应用来说，或者对于一般规模的商业应用来说30,000到50,000词大小的词典比较常见，但是100,000词的也不是没有，而且有些大型互联网公司会用百万词，甚至更大的词典。许多商业应用用的词典可能是30,000词，也可能是50,000词。不过我将用10,000词大小的词典做说明，因为这是一个很好用的整数。

如果你选定了10,000词的词典，构建这个词典的一个方法是遍历你的训练集，并且找到前10,000个常用词，你也可以去浏览一些网络词典，它能告诉你英语里最常用的10,000个单词，接下来你可以用one-hot表示法来表示词典里的每个单词。

$x^{<1>}$ 表示Harry这个单词，它就是一个第4075行是1，其余值都是0的向量（上图编号1所示），因为那是Harry在这个词典里的位置。

$x^{<2>}$ 是个第6830行是1，其余位置都是0的向量（上图编号2所示）。

and $x^{<3>}$ 就是第367行是1，其余值都是0的向量（上图编号3所示）。如果你的词典大小是10,000的话，那么这里的每个向量都是10,000维的。

a $x^{<7>}$ 对应a，那么这个向量的第一个位置为1，其余位置都是0的向量（上图编号4所示）。

$x^{<t>}$ 指代句子里的任意词，它就是个one-hotone-hot $X$ $X$ $Y$ $(x，y)$ 标签的数据。

那么还剩下最后一件事，我们将在之后的视频讨论，如果你遇到了一个不在你词表中的单词，答案就是创建一个新的标记，也就是一个叫做Unknow Word的伪造单词，用<UNK>作为标记，来表示不在词表中的单词，我们之后会讨论更多有关这个的内容。

$x$ $y$ $X$ $Y$ 的映射。

###1.3 循环神经网络模型（Recurrent Neural Network Model）

$X$ $Y$ 的映射。

可以尝试的方法之一是使用标准神经网络，在我们之前的例子中，我们有9个输入单词。想象一下，把这9个输入单词，可能是9个one-hot向量，然后将它们输入到一个标准神经网络中，经过一些隐藏层，最终会输出9个值为0或1的项，它表明每个输入单词是否是人名的一部分。

但结果表明这个方法并不好，主要有两个问题，

$T_{x}$ $T_{y}$ 。即使每个句子都有最大长度，也许你能够填充（pad）或零填充（zero pad）使每个输入语句都达到最大长度，但仍然看起来不是一个好的表达方式。

二、一个像这样单纯的神经网络结构，它并不共享从文本的不同位置上学到的特征。具体来说，如果神经网络已经学习到了在位置1出现的HarryHarry $x^{<t>}$ 时，它也能够自动识别其为人名的一部分的话，这就很棒了。这可能类似于你在卷积神经网络中看到的，你希望将部分图片里学到的内容快速推广到图片的其他部分，而我们希望对序列数据也有相似的效果。和你在卷积网络中学到的类似，用一个更好的表达方式也能够让你减少模型中参数的数量。

$x^{<1>}$ $x^{<t>}$ $x^{< T_{x}>}$ ）都是10,000维的one-hot向量，因此这会是十分庞大的输入层。如果总的输入大小是最大单词数乘以10,000，那么第一层的权重矩阵就会有着巨量的参数。但循环神经网络就没有上述的两个问题。

$x^{<1>}$ $x^{<2>}$ $x^{<2>}$ ${\hat{y}}^{<2>}$ $x^{<3>}$ ${\hat{y}}^{<3>}$ $x^{<T_{x}>}$ ${\hat{y}}^{< T_{y} >}$ $T_{x} =T_{y}$ $T_{x}$ $T_{y}$ 不相同，这个结构会需要作出一些改变。所以在每一个时间步中，循环神经网络传递一个激活值到下一个时间步中用于计算。

$a^{<0>}$ $a^{<0>}$ ，不过使用零向量作为零时刻的伪激活值是最常见的选择，因此我们把它输入神经网络。

$x^{<t>}$ $y^{<t>}$ 。然后为了表示循环连接有时人们会像这样画个圈，表示输回网络层，有时他们会画一个黑色方块，来表示在这个黑色方块处会延迟一个时间步。我个人认为这些循环图很难理解，所以在本次课程中，我画图更倾向于使用左边这种分布画法（上图编号1所示）。不过如果你在教材中或是研究论文中看到了右边这种图表的画法（上图编号2所示），它可以在心中将这图展开成左图那样。

$W_{\text{ax}}$ $x^{<1>}$ $W_{\text{ax}}$ $W_{aa}$ $W_{aa}$ $W_{\text{ya}}$ 决定。下图详细讲述这些参数是如何起作用。

${\hat{y}}^{< 3 >}$ $x^{<3>}$ $x^{<1>}$ $x^{<2>}$ $x^{<1>}$ ${\hat{y}}^{<3>}$ ${\hat{y}}^{<3>}$ $x^{<4>}$ $x^{<5>}$ $x^{<6>}$ 等等的信息。所以这就有一个问题，因为如果给定了这个句子，“Teddy Roosevelt was a great President.”，为了判断Teddy是否是人名的一部分，仅仅知道句中前两个词是完全不够的，还需要知道句中后部分的信息，这也是十分有用的，因为句子也可能是这样的，“Teddy bears are on sale!”。因此如果只给定前三个单词，是不可能确切地知道Teddy是否是人名的一部分，第一个例子是人名，第二个例子就不是，所以你不可能只看前三个单词就能分辨出其中的区别。

BRNN ${\hat{y}}^{<3>}$ ，不过我们会在之后的视频讲述这些内容，接下来我们具体地写出这个神经网络计算了些什么。

$a^{<0>}$ $a^{<1>}$ $y^{<1>}$ 。

$a^{<1>} = g_{1}(W_{{aa}}a^{< 0 >} + W_{{ax}}x^{< 1 >} + b_{a})$

$\hat y^{< 1 >} = g_{2}(W_{{ya}}a^{< 1 >} + b_{y})$

$W_{\text{ax}}$ $W_{\text{ax}}$ $x$ $a$ $a$ $W_{\text{ya}}$ $a$ $\hat {y}$ 类型的量。

循环神经网络用的激活函数经常是tanh，不过有时候也会用ReLUtanh $y$ sigmoid $k$ softmax $y$ $y$ $g$ 可以是sigmoid激活函数。

$t$ 时刻，

$a^{< t >} = g_{1}(W_{aa}a^{< t - 1 >} + W_{ax}x^{< t >} + b_{a})$

$\hat y^{< t >} = g_{2}(W_{{ya}}a^{< t >} + b_{y})$

$a^{<0>}$ $a^{<0>}$ $x^{<1>}$ $a^{<1>}$ $\hat y^{<1>}$ $x^{<2>}$ $a^{<1>}$ $a^{<2>}$ $\hat y^{<2>}$ 等等，像图中这样，从左到右完成前向传播。

现在为了帮我们建立更复杂的神经网络，我实际要将这个符号简化一下，我在下一张幻灯片里复制了这两个等式（上图编号1所示的两个等式）。

$W_{\text{aa}}a^{<t -1>} +W_{\text{ax}}x^{<t>}$ $a^{<t>} =g(W_{a}\left\lbrack a^{< t-1 >},x^{<t>} \right\rbrack +b_{a})$ $W_{a}$ $W_{aa}$ $W_{{ax}}$ $[ {{W}_{aa}}\vdots {{W}_{ax}}]=W_{a}$ $a$ $x$ $W_{aa}$ $（100，100）$ $W_{ax}$ $（100，10,000）$ $W_{a}$ $（100，10,100）$ 维的矩阵。

$\left\lbrack a^{< t - 1 >},x^{< t >}\right\rbrack$ $\begin{bmatrix}a^{< t-1 >} \\ x^{< t >} \\\end{bmatrix}$ $[ {{W}_{aa}}\vdots {{W}_{ax}}]$ $\begin{bmatrix} a^{< t - 1 >} \\ x^{< t >} \\ \end{bmatrix}$ $W_{{aa}}a^{<t-1>} + W_{{ax}}x^{<t>}$ $W_{{aa}}$ $W_{{ax}}$ $W_{a}$ ，所以当我们建立更复杂模型时这就能够简化我们要用到的符号。

$\hat y^{<t>} = g(W_{ya}a^{<t>} +b_{y})$ $\hat y^{< t >} = g(W_{y}a^{< t >} +b_{y})$ $W_{y}$ $b_{y}$ $W_{y}$ $y$ $W_{a}$ $b_{a}$ $a$ 类型或者说是激活值的。

RNN前向传播示意图：

nn-

好就这么多，你现在知道了基本的循环神经网络，下节课我们会一起来讨论反向传播，以及你如何能够用RNN进行学习。

###1.4 通过时间的反向传播（Backpropagation through time）

之前我们已经学过了循环神经网络的基础结构，在本节视频中我们将来了解反向传播是怎样在循环神经网络中运行的。和之前一样，当你在编程框架中实现循环神经网络时，编程框架通常会自动处理反向传播。但我认为，在循环神经网络中，对反向传播的运行有一个粗略的认识还是非常有用的，让我们来一探究竟。

在之前你已经见过对于前向传播（上图蓝色箭头所指方向）怎样在神经网络中从左到右地计算这些激活项，直到输出所有地预测结果。而对于反向传播，我想你已经猜到了，反向传播地计算方向（上图红色箭头所指方向）与前向传播基本上是相反的。

$x^{<1>}$ $x^{<2>}$ $x^{<3>}$ $x^{< T_{x} >}$ $x^{<1>}$ $a^{<0>}$ $x^{<2>}$ $a^{<1>}$ $a^{<2>}$ $a^{<3>}$ $a^{< T_{x} >}$ 。

$a^{<1>}$ $W_{a}$ $b_{a}$ $a^{<1>}$ $a^{<2>}$ $a^{<3>}$ $W_{a}$ $b_{a}$ $a^{<1>}$ $\hat y^{<1>}$ $\hat y^{<2>}$ $\hat y^{<3>}$ $\hat y^{<T_{y}>}$ ${\hat{y}}$ $W_{y}$ $b_{y}$ ，它们将被用于所有这些节点。

然后为了计算反向传播，你还需要一个损失函数。我们先定义一个元素损失函数（上图编号1所示）

$L^{<t>}( \hat y^{<t>},y^{<t>}) = - y^{<t>}\log\hat y^{<t>}-( 1- y^{<t>})log(1-\hat y^{<t>})$

$y^{<t>}$ Cross Entropy Loss $t$ 上某个单词的预测值的损失函数。

$L$ 定义为（上图编号2所示）

$L(\hat y,y) = \ \sum_{t = 1}^{T_{x}}{L^{< t >}(\hat y^{< t >},y^{< t >})}$

$\hat y^{<1>}$ $L$ （上图编号4所示），也就是把每个单独时间步的损失函数都加起来。

这就是完整的计算图，在之前的例子中，你已经见过反向传播，所以你应该能够想得到反向传播算法需要在相反的方向上进行计算和传递信息，最终你做的就是把前向传播的箭头都反过来，在这之后你就可以计算出所有合适的量，然后你就可以通过导数相关的参数，用梯度下降法来更新参数。

在这个反向传播的过程中，最重要的信息传递或者说最重要的递归运算就是这个从右到左的运算，这也就是为什么这个算法有一个很别致的名字，叫做“通过（穿越）时间反向传播backpropagation through time $t$ 不断增加。而对于反向传播，你需要从右到左进行计算，就像时间倒流。“通过时间反向传播”，就像穿越时光，这种说法听起来就像是你需要一台时光机来实现这个算法一样。

RNN反向传播示意图：

nn_cell_backpro

希望你大致了解了前向和反向传播是如何在RNN中工作的，到目前为止，你只见到了RNN中一个主要的例子，其中输入序列的长度和输出序列的长度是一样的。在下节课将展示更多的RNN架构，这将让你能够处理一些更广泛的应用。

###1.5 不同类型的循环神经网络（Different types of RNNs）

RNN $T_{x}$ $T_{y}$ $T_{x}$ $T_{y}$ 并不一定相等。在这个视频里，你会看到更多的RNN的结构。

$x$ $y$ $T_{x}=T_{y}$ 。

$T_{x}$ $y$ 可以是1到5的整数，而输入是一个序列。在命名实体识别中，这个例子中输入长度和输出长度是一样的。

还有一些情况，输入长度和输出长度不同，他们都是序列但长度不同，比如机器翻译，一个法语句子和一个英语句子不同数量的单词却能表达同一个意思。

所以我们应该修改基本的RNN结构来处理这些问题，这个视频的内容参考了Andrej Karpathy的博客，一篇叫做《循环神经网络的非理性效果》（“The Unreasonable Effectiveness of Recurrent Neural Networks”）的文章，我们看一些例子。

$T_{x} = T_{y}$ $x^{<1>}$ $x^{<2>}$ $x^{< T_{x}>}$ $x^{<1>}$ $\hat y^{<1>}$ $\hat y^{<2>}$ $\hat y^{<T_{y}>}$ 。在原先的图里，我会画一串圆圈表示神经元，大部分时候为了让符号更加简单，此处就以简单的小圈表示。这个就叫做“多对多”（many-to-many）的结构，因为输入序列有很多的输入，而输出序列也有很多输出。

$x$ These is nothing to like in this movie. $x$ $y$ $x^{<1 >}$ $x^{< 2 >}$ ，一次输入一个单词，如果输入文本是“These is nothing to like in this movie”，那么单词的对应如下图编号2所示。我们不再在每个时间上都有输出了，而是让这个RNN网络读入整个句子，然后在最后一个时间上得到输出，这样输入的就是整个句子，所以这个神经网络叫做“多对一”（many-to-one）结构，因为它有很多输入，很多的单词，然后输出一个数字。

为了完整性，还要补充一个“一对一one-to-one $x$ $y$ ，我们这个系列课程的前两个课程已经讨论过这种类型的神经网络了。

除了“多对一”的结构，也可以有“一对多one-to-many $x$ $x$ 可以是空的输入，可设为0向量。

$x$ RNN $a^{<0>}$ （上图编号3所示）。有一个后面才会讲到的技术细节，当你生成序列时通常会把第一个合成的输出也喂给下一层（上图编号4所示），所以实际的网络结构最终就像这个样子。

我们已经讨论了“多对多”、“多对一”、“一对一一对多 $T_{x}$ $T_{y}$ $a^{<0>}$ 。这个网络的结构有两个不同的部分，这（上图编号5所示）是一个编码器，获取输入，比如法语句子，这（上图编号6所示）是解码器，它会读取整个句子，然后输出翻译成其他语言的结果。

这就是一个“多对多”结构的例子，到这周结束的时候，你就能对这些各种各样结构的基本构件有一个很好的理解。严格来说，还有一种结构，我们会在第四周涉及到，就是“注意力”（attention based）结构，但是根据我们现在画的这些图不好理解这个模型。

总结一下这些各种各样的RNN一对一 $a^{<0>}$ 时它就是一种标准类型的神经网络。还有一种“一对多”的结构（上图编号2所示），比如音乐生成或者序列生成。还有“多对一”，这（上图编号3所示）是情感分类的例子，首先读取输入，一个电影评论的文本，然后判断他们是否喜欢电影还是不喜欢。还有“多对多多对多 $T_{x}=T_{y}$ 多对多 $T_{x}$ $T_{y}$ 就可以不同了。

现在，你已经了解了大部分基本的模块，这些就是差不多所有的神经网络了，除了序列生成，有些细节的问题我们会在下节课讲解。

我希望你从本视频中了解到用这些RNN的基本模块，把它们组合在一起就可以构建各种各样的模型。但是正如我前面提到的，序列生成还有一些不一样的地方，在这周的练习里，你也会实现它，你需要构建一个语言模型，结果好的话会得到一些有趣的序列或者有意思的文本。下节课深入探讨序列生成。

###1.6 语言模型和序列生成（Language model and sequence generation）

在自然语言处理中，构建语言模型是最基础的也是最重要的工作之一，并且能用RNN很好地实现。在本视频中，你将学习用RNN构建一个语言模型，在本周结束的时候，还会有一个很有趣的编程练习，你能在练习中构建一个语言模型，并用它来生成莎士比亚文风的文本或其他类型文本。

所以什么是语言模型呢？比如你在做一个语音识别系统，你听到一个句子，“the apple and pear（pair） salad was delicious.”，所以我究竟说了什么？我说的是 “the apple and pair salad”，还是“the apple and pear salad”？（pear和pair是近音词）。你可能觉得我说的应该更像第二种，事实上，这就是一个好的语音识别系统要帮助输出的东西，即使这两句话听起来是如此相似。而让语音识别系统去选择第二个句子的方法就是使用一个语言模型，他能计算出这两句话各自的可能性。

$P( \text{The apple and pair salad}) = 3.2 \times 10^{-13}$ $P\left(\text{The apple and pear salad} \right) = 5.7 \times 10^{-10}$ ，比较这两个概率值，显然我说的话更像是第二种，因为第二句话的概率比第一句高出1000倍以上，这就是为什么语音识别系统能够在这两句话中作出选择。

the apple and pear salad $y^{<1>}$ $y^{<2>}$ $y^{<T_{y}>}$ $y$ $x$ 来表示要更好，然后语言模型会估计某个句子序列中各个单词出现的可能性。

那么如何建立一个语言模型呢？为了使用RNN建立出这样的模型，你首先需要一个训练集，包含一个很大的英文文本语料库（corpus）或者其它的语言，你想用于构建模型的语言的语料库。语料库是自然语言处理的一个专有名词，意思就是很长的或者说数量众多的英文句子组成的文本。

假如说，你在训练集中得到这么一句话，“Cats average 15 hours of sleep a day.”(猫一天睡15小时)，你要做的第一件事就是将这个句子标记化，意思就是像之前视频中一样，建立一个字典，然后将每个单词都转换成对应的one-hot向量，也就是字典中的索引。可能还有一件事就是你要定义句子的结尾，一般的做法就是增加一个额外的标记，叫做EOS（上图编号1所示），它表示句子的结尾，这样能够帮助你搞清楚一个句子什么时候结束，我们之后会详细讨论这个。EOS标记可以被附加到训练集中每一个句子的结尾，如果你想要你的模型能够准确识别句子结尾的话。在本周的练习中我们不需要使用这个EOSEOS $y^{<1>}$ $y^{<2>}$ $y^{<9>}$ 。在标记化的过程中，你可以自行决定要不要把标点符号看成标记，在本例中，我们忽略了标点符号，所以我们只把day看成标志，不包括后面的句号，如果你想把句号或者其他符号也当作标志，那么你可以将句号也加入你的字典中。

现在还有一个问题如果你的训练集中有一些词并不在你的字典里，比如说你的字典有10,000个词，10,000个最常用的英语单词。现在这个句，“The Egyptian Mau is a bread of cat.”其中有一个词Mau，它可能并不是预先的那10,000个最常用的单词，在这种情况下，你可以把Mau替换成一个叫做UNK的代表未知词的标志，我们只针对UNK建立概率模型，而不是针对这个具体的词Mau。

RNN $x^{<t>}$ $y^{<t-1>}$ 。

现在我们来建立RNN模型，我们继续使用“Cats average 15 hours of sleep a day.RNN $a^{<1>}$ $x^{<1 >}$ $x^{<1>}$ $a^{<0>}$ $a^{<1>}$ softmax $\hat y^{<1>}$ softmax $a$ 的概率有多少，第一个词是Aaron的概率有多少，第一个词是cats的概率又有多少，就这样一直到ZuluUNK $\hat y^{<1>}$ 的输出是softmax的计算结果，它只是预测第一个词的概率，而不去管结果是什么。在我们的例子中，最终会得到单词Cats。所以softmax层输出10,000种结果，因为你的字典中有10,000个词，或者会有10,002个结果，因为你可能加上了未知词，还有句子结尾这两个额外的标志。

RNN $a^{<1>}$ Cats $\hat y^{<1>}$ Cats $y^{<1>} = x^{<2>}$ （上图编号2所示）。然后在第二个时间步中，输出结果同样经过softmax层进行预测，RNN的职责就是预测这些词的概率（上图编号3所示），而不会去管结果是什么，可能是b或者arron，可能是Cats或者Zulu或者UNK（未知词）或者EOS或者其他词，它只会考虑之前得到的词。所以在这种情况下，我猜正确答案会是average，因为句子确实就是Cats average开头的。

RNN $a^{<3>}$ Cats average $x^{<3>} = y^{<2>}$ ，输入average以后，现在要计算出序列中下一个词是什么，或者说计算出字典中每一个词的概率（上图编号4所示），通过之前得到的Cats和average，在这种情况下，正确结果会是15，以此类推。

$x^{<9>}$ $y^{<8>}$ day $a^{<9>}$ $y^{<9>}$ ，最后的得到结果会是EOS标志，在这一步中，通过前面这些得到的单词，不管它们是什么，我们希望能预测出EOS句子结尾标志的概率会很高（上图编号6所示）。

所以RNN中的每一步都会考虑前面得到的单词，比如给它前3个单词（上图编号7所示），让它给出下个词的分布，这就是RNN如何学习从左往右地每次预测一个词。

$t$ $y^{<t>}$ softmax $y^{<t>}$ softmax $L\left( \hat y^{<t>},y^{<t>}>\right) = - \sum_{i}^{}{y_{i}^{<t>}\log\hat y_{i}^{<t>}}$ $L = \sum_{t}^{}{L^{< t >}\left( \hat y^{<t>},y^{<t>} \right)}$ ，也就是把所有单个预测的损失函数都相加起来。

如果你用很大的训练集来训练这个RNN，你就可以通过开头一系列单词像是Cars average 15Cars average 15 hours of $y^{<1>}$ $y^{<2>}$ $y^{<3>}$ softmax $y^{<1>}$ softmax $y^{<1>}$ $y^{<2>}$ softmax $y^{<1>}$ $y^{<2>}$ $y^{<3>}$ 的概率（上图编号3所示），把这三个概率相乘，最后得到这个含3个词的整个句子的概率。

这就是用RNN训练一个语言模型的基础结构，可能我说的这些东西听起来有些抽象，不过别担心，你可以在编程练习中亲自实现这些东西。下一节课用语言模型做的一件最有趣的事就是从模型中进行采样。

###1.7 对新序列采样（Sampling novel sequences）

在你训练一个序列模型之后，要想了解到这个模型学到了什么，一种非正式的方法就是进行一次新序列采样，来看看到底应该怎么做。

记住一个序列模型模拟了任意特定单词序列的概率，我们要做的就是对这些概率分布进行采样来生成一个新的单词序列。下图编号1所示的网络已经被上方所展示的结构训练训练过了，而为了进行采样（下图编号2所示的网络），你要做一些截然不同的事情。

$x^{<1>} =0$ $a^{<0>} =0$ ，现在你的第一个时间步得到的是所有可能的输出是经过softmax层后得到的概率，然后根据这个softmax的分布进行随机采样。Softmax分布给你的信息就是第一个词a的概率是多少，第一个词是aaron的概率是多少，第一个词是zulu的概率是多少，还有第一个词是UNK（未知标识）的概率是多少，这个标识可能代表句子的结尾，然后对这个向量使用例如numpy命令，np.random.choice（上图编号3所示），来根据向量中这些概率的分布进行采样，这样就能对第一个词进行采样了。

$\hat y^{<1>}$ $\hat y^{<1>}$ $a^{<2>}$ softmax $\hat y^{<2>}$ 是什么。举个例子，假如说对第一个词进行抽样后，得到的是The，TheThe $x^{<2>}$ $x^{<2>}$ $\hat y^{<1>}$ The $\hat y^{<2>}$ $\hat y^{<2>}$ 进行采样。

然后再到下一个时间步，无论你得到什么样的用one-hot码表示的选择结果，都把它传递到下一个时间步，然后对第三个词进行采样。不管得到什么都把它传递下去，一直这样直到最后一个时间步。

那么你要怎样知道一个句子结束了呢？方法之一就是，如果代表句子结尾的标识在你的字典中，你可以一直进行采样直到得到EOS标识（上图编号6所示），这代表着已经抵达结尾，可以停止采样了。另一种情况是，如果你的字典中没有这个词，你可以决定从20个或100个或其他个单词进行采样，然后一直将采样进行下去直到达到所设定的时间步。不过这种过程有时候会产生一些未知标识（上图编号7所示），如果你要确保你的算法不会输出这种标识，你能做的一件事就是拒绝采样过程中产生任何未知的标识，一旦出现就继续在剩下的词中进行重采样，直到得到一个不是未知标识的词。如果你不介意有未知标识产生的话，你也可以完全不管它们。

这就是你如何从你的RNN语言模型中生成一个随机选择的句子。直到现在我们所建立的是基于词汇的RNN模型，意思就是字典中的词都是英语单词（下图编号1所示）。

根据你实际的应用，你还可以构建一个基于字符的RNN结构，在这种情况下，你的字典仅包含从a到z的字母，可能还会有空格符，如果你需要的话，还可以有数字0到9，如果你想区分字母大小写，你可以再加上大写的字母，你还可以实际地看一看训练集中可能会出现的字符，然后用这些字符组成你的字典（上图编号2所示）。

$\hat y^{<1>}$ $\hat y^{<2>}$ $\hat y^{<3>}$ 在你的训练数据中将会是单独的字符，而不是单独的词汇。所以对于前面的例子来说，那个句子（上图编号3所示），“Cats average 15 hours of sleep a day.C $\hat y^{<1>}$ a $\hat y^{<2>}$ t $\hat y^{<3>}$ $\hat y^{<4>}$ 等等。

使用基于字符的语言模型有有点也有缺点，优点就是你不必担心会出现未知的标识，例如基于字符的语言模型会将Mau这样的序列也视为可能性非零的序列。而对于基于词汇的语言模型，如果Mau不在字典中，你只能把它当作未知标识UNK。不过基于字符的语言模型一个主要缺点就是你最后会得到太多太长的序列，大多数英语句子只有10到20个的单词，但却可能包含很多很多字符。所以基于字符的语言模型在捕捉句子中的依赖关系也就是句子较前部分如何影响较后部分不如基于词汇的语言模型那样可以捕捉长范围的关系，并且基于字符的语言模型训练起来计算成本比较高昂。所以我见到的自然语言处理的趋势就是，绝大多数都是使用基于词汇的语言模型，但随着计算机性能越来越高，会有更多的应用。在一些特殊情况下，会开始使用基于字符的模型。但是这确实需要更昂贵的计算力来训练，所以现在并没有得到广泛地使用，除了一些比较专门需要处理大量未知的文本或者未知词汇的应用，还有一些要面对很多专有词汇的应用。

在现有的方法下，现在你可以构建一个RNN结构，看一看英文文本的语料库，然后建立一个基于词汇的或者基于字符的语言模型，然后从训练的语言模型中进行采样。

这里有一些样本，它们是从一个语言模型中采样得到的，准确来说是基于字符的语言模型，你可以在编程练习中自己实现这样的模型。如果模型是用新闻文章训练的，它就会生成左边这样的文本，这有点像一篇不太合乎语法的新闻文本，不过听起来，这句“Concussion epidemic”，to be examined，确实有点像新闻报道。用莎士比亚的文章训练后生成了右边这篇东西，听起来很像是莎士比亚写的东西：

“The mortal moon hath her eclipse in love.

And subject of this thou art another this fold.

When besser be my love to me see sabl's.

For whose are ruse of mine eyes heaves.”

这些就是基础的RNN结构和如何去建立一个语言模型并使用它，对于训练出的语言模型进行采样。在之后的视频中，我想探讨在训练RNN时一些更加深入的挑战以及如何适应这些挑战，特别是梯度消失问题来建立更加强大的RNN模型。下节课，我们将谈到梯度消失并且会开始谈到GRU，也就是门控循环单元和LSTM长期记忆网络模型。

###1.8 循环神经网络的梯度消失（Vanishing gradients with RNNs）

你已经了解了RNN时如何工作的了，并且知道如何应用到具体问题上，比如命名实体识别，比如语言模型，你也看到了怎么把反向传播用于RNN。其实，基本的RNN算法还有一个很大的问题，就是梯度消失的问题。这节课我们会讨论，在下几节课我们会讨论一些方法用来解决这个问题。

你已经知道了RNN的样子，现在我们举个语言模型的例子，假如看到这个句子（上图编号1所示），“The cat, which already ate ……, was full.”，前后应该保持一致，因为cat是单数，所以应该用was。“The cats, which ate ……, were full.”（上图编号2所示），cats是复数，所以用were。这个例子中的句子有长期的依赖，最前面的单词对句子后面的单词有影响。但是我们目前见到的基本的RNN模型（上图编号3所示的网络模型），不擅长捕获这种长期依赖效应，解释一下为什么。

$\hat y$ 得到的梯度很难传播回去，很难影响靠前层的权重，很难影响前面层（编号5所示的层）的计算。

对于有同样问题的RNN，首先从左到右前向传播，然后反向传播。但是反向传播会很困难，因为同样的梯度消失的问题，后面层的输出误差（上图编号6所示）很难影响前面层（上图编号7所示的层）的计算。这就意味着，实际上很难让一个神经网络能够意识到它要记住看到的是单数名词还是复数名词，然后在序列后面生成依赖单复数形式的was或者wereRNN $\hat y^{<3>}$ $\hat y^{<3>}$ 附近的值（上图编号10所示）的影响，上图编号11所示的一个数值主要与附近的输入（上图编号12所示）有关，上图编号6所示的输出，基本上很难受到序列靠前的输入（上图编号10所示）的影响，这是因为不管输出是什么，不管是对的，还是错的，这个区域都很难反向传播到序列的前面部分，也因此网络很难调整序列前面的计算。这是基本的RNN算法的一个缺点，我们会在下几节视频里处理这个问题。如果不管的话，RNN会不擅长处理长期依赖的问题。

尽管我们一直在讨论梯度消失问题，但是，你应该记得我们在讲很深的神经网络时，我们也提到了梯度爆炸，我们在反向传播的时候，随着层数的增多，梯度不仅可能指数型的下降，也可能指数型的上升。事实上梯度消失在训练RNN时是首要的问题，尽管梯度爆炸也是会出现，但是梯度爆炸很明显，因为指数级大的梯度会让你的参数变得极其大，以至于你的网络参数崩溃。所以梯度爆炸很容易发现，因为参数会大到崩溃，你会看到很多NaN，或者不是数字的情况，这意味着你的网络计算出现了数值溢出。如果你发现了梯度爆炸的问题，一个解决方法就是用梯度修剪。梯度修剪的意思就是观察你的梯度向量，如果它大于某个阈值，缩放梯度向量，保证它不会太大，这就是通过一些最大值来修剪的方法。所以如果你遇到了梯度爆炸，如果导数值很大，或者出现了NaN，就用梯度修剪，这是相对比较鲁棒的，这是梯度爆炸的解决方法。然而梯度消失更难解决，这也是我们下几节视频的主题。

总结一下，在前面的课程，我们了解了训练很深的神经网络时，随着层数的增加，导数有可能指数型的下降或者指数型的增加，我们可能会遇到梯度消失或者梯度爆炸的问题。加入一个RNN处理1,000个时间序列的数据集或者10,000个时间序列的数据集，这就是一个1,000层或者10,000层的神经网络，这样的网络就会遇到上述类型的问题。梯度爆炸基本上用梯度修剪就可以应对，但梯度消失比较棘手。我们下节会介绍GRU，门控循环单元网络，这个网络可以有效地解决梯度消失的问题，并且能够使你的神经网络捕获更长的长期依赖，我们去下个视频一探究竟吧。

###1.9 GRU单元（Gated Recurrent Unit（GRU））

你已经了解了基础的RNN模型的运行机制，在本节视频中你将会学习门控循环单元，它改变了RNN的隐藏层，使其可以更好地捕捉深层连接，并改善了梯度消失问题，让我们看一看。

$a^{< t >} = g(W_{a}\left\lbrack a^{< t - 1 >},x^{< t >}\right\rbrack +b_{a})$ RNN $t$ RNN $a^{<t-1>}$ $x^{<t>}$ $g$ 是一个tanhtanh $a^{<t>}$ $a^{<t>}$ softmax $y^{<t>}$ 的东西。就这张图而言，这就是RNN隐藏层的单元的可视化呈现。我向展示这张图，因为我们将使用相似的图来讲解门控循环单元。 1521560729

许多GRU的想法都来分别自于Yu Young Chang, Kagawa，Gaza Hera, Chang Hung Chu和 Jose Banjo的两篇论文。我再引用上个视频中你已经见过的这个句子，“The cat, which already ate……, was full.”，你需要记得猫是单数的，为了确保你已经理解了为什么这里是was而不是were，“The cat was full.”或者是“The cats were fullGRU $c$ cell $t$ $c^{<t>}$ GRU $a^{<t>}$ $c^{<t>} = a^{<t>}$ $c$ $a$ 来表示记忆细胞的值和输出的激活值，即使它们是一样的。我现在使用这个标记是因为当我们等会说到LSTMsGRU $c^{<t>}$ $a^{<t>}$ 的激活值。

GRU ${\tilde{c}}^{<t>}$ $c^{<t>}$ tanh ${\tilde{c}}^{<t>} =tanh(W_{c}\left\lbrack c^{<t-1>},x^{<t>} \right\rbrack +b_{c})$ ${\tilde{c}}^{<t>}$ $c^{<t>}$ 的值（下图编号3所示）。

GRU $\Gamma_{u}$ $u$ $\Gamma$ $u$ GRU $\Gamma_{u}$ sigmoid $\Gamma_{u}= \sigma(W_{u}\left\lbrack c^{<t-1>},x^{<t>} \right\rbrack +b_{u})$ 。我们还记得sigmoidsigmoid $\Gamma_{u}$ 在大多数的情况下非常接近0或1。然后这个字母uupdate $\Gamma$ 是因为它看起来像门。还有希腊字母G，G是门的首字母，所以G表示门。

GRU $\tilde{c}$ $c$ $c^{<t>}$ GRU $c^{<t>}$ $c^{<t>}$ was $\Gamma_{u}$ 的作用就是决定什么时候你会更新这个值，特别是当你看到词组the cat，即句子的主语猫，这就是一个好时机去更新这个值。然后当你使用完它的时候，“The cat, which already ate……, was full.”，然后你就知道，我不需要记住它了，我可以忘记它了。

GRU $c^{<t>} = \Gamma_{u}*{\tilde{c}}^{<t>} +\left( 1- \Gamma_{u} \right)*c^{<t-1>}$ $\Gamma_{u} =1$ $c^{<t>}$ $\Gamma_{u} =1$ $c^{<t>} = {\tilde{c}}^{<t>}$ $\Gamma_{u}= 0$ $\Gamma_{u} = 0$ $c^{<t>} =c^{<t-1>}$ $c^{<t>}$ $\Gamma_{u}=0$ $c^{<t>}$ $c^{<t-1>}$ ，于是它仍然记得猫是单数的。

让我再画个图来（下图所示）解释一下GRU单元，顺便说一下，当你在看网络上的博客或者教科书或者教程之类的，这些图对于解释GRU和我们稍后会讲的LSTM是相当流行的，我个人感觉式子在图片中比较容易理解，那么即使看不懂图片也没关系，我就画画，万一能帮得上忙就最好了。

GRU $c^{<t-1>}$ $a^{<t-1>}$ $x^{<t>}$ tanh ${\tilde{c}}^{<t>}$ ${\tilde{c}}^{<t>} =tanh(W_{c}\left\lbrack c^{<t-1>},x^{<t>} \right\rbrack +b_{c})$ $c^{<t>}$ 的替代值。

sigmoid $\Gamma_{u}$ $\Gamma_{u}= \sigma(W_{u}\left\lbrack c^{<t-1>},x^{<t>} \right\rbrack +b_{u})$ $c^{<t>}$ $c^{<t>}$ $c^{<t>}$ $a^{<t>}$ softmax $y^{<t>}$ 的东西。

这就是GRUGRU $\Gamma_{u}=0$ $c^{<t>} = c^{<t-1>}$ $\Gamma_{u}$ $\Gamma_{u}$ $c^{<t>}$ $c^{<t-1>}$ $c^{<t>}$ 的值也很好地被维持了，即使经过很多很多的时间步（上图编号14所示）。这就是缓解梯度消失问题的关键，因此允许神经网络运行在非常庞大的依赖词上，比如说cat和was单词即使被中间的很多单词分割开。

$c^{<t>}$ $c^{<t>}$ ${\tilde{c}}^{<t>}$ ${\tilde{c}}^{<t>} =tanh(W_{c}\left\lbrack c^{<t-1>},x^{<t>} \right\rbrack +b_{c})$ $\Gamma_{u}$ $\Gamma_{u}= \sigma(W_{u}\left\lbrack c^{<t-1>},x^{<t>} \right\rbrack +b_{u})$ $c^{<t>} = \Gamma_{u}*{\tilde{c}}^{<t>} +\left( 1- \Gamma_{u} \right)*c^{<t-1>}$ $\Gamma_{u}$ $\Gamma_{u}= \sigma(W_{u}\left\lbrack c^{<t-1>},x^{<t>} \right\rbrack +b_{u})$ $\Gamma_{u}$ $c^{<t>}$ $c^{<t>}=a^{<t>}$ 上图编号1所示）就是你要更新的比特。

$\Gamma_{u}$ 不会真的等于0或者1，有时候它是0到1的一个中间值（上图编号5所示），但是这对于直观思考是很方便的，就把它当成确切的0，完全确切的0或者就是确切的1。元素对应的乘积做的就是告诉GRU单元哪个记忆细胞的向量维度在每个时间步要做更新，所以你可以选择保存一些比特不变，而去更新其他的比特。比如说你可能需要一个比特来记忆猫是单数还是复数，其他比特来理解你正在谈论食物，因为你在谈论吃饭或者食物，然后你稍后可能就会谈论“The cat was full.”，你可以每个时间点只改变一些比特。

你现在已经理解GRU最重要的思想了，幻灯片中展示的实际上只是简化过的GRU单元，现在来描述一下完整的GRU单元。

GRU $\Gamma_{r}$ $r$ relevance $\Gamma_{r}$ $c^{<t>}$ ${\tilde{c}}^{<t>}$ $c^{<t-1>}$ $\Gamma_{r}$ $W_{r}$ $\Gamma_{r}= \sigma(W_{r}\left\lbrack c^{<t-1>},x^{<t>} \right\rbrack + b_{r})$ 。

$\Gamma_{r}$ ？为什么不用上一张幻灯片里的简单的版本？这是因为多年来研究者们试验过很多很多不同可能的方法来设计这些单元，去尝试让神经网络有更深层的连接，去尝试产生更大范围的影响，还有解决梯度消失的问题，GRU就是其中一个研究者们最常使用的版本，也被发现在很多不同的问题上也是非常健壮和实用的。你可以尝试发明新版本的单元，只要你愿意。但是GRU是一个标准版本，也就是最常使用的。你可以想象到研究者们也尝试了很多其他版本，类似这样的但不完全是，比如我这里写的这个。然后另一个常用的版本被称为LSTM，表示长短时记忆网络，这个我们会在下节视频中讲到，但是GRU和LSTM是在神经网络结构中最常用的两个具体实例。

$\tilde{x}$ $u$ $r$ $h$ 表示这些量。但我试着在GRULSTM $\Gamma$ 来表示门，所以希望这能让这些概念更好理解。

所以这就是GRU，即门控循环单元，这是RNN的其中之一。这个结构可以更好捕捉非常长范围的依赖，让RNN更加有效。然后我简单提一下其他常用的神经网络，比较经典的是这个叫做LSTM，即长短时记忆网络，我们在下节视频中讲解。

（Chung J, Gulcehre C, Cho K H, et al. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling[J]. Eprint Arxiv, 2014.

Cho K, Merrienboer B V, Bahdanau D, et al. On the Properties of Neural Machine Translation: Encoder-Decoder Approaches[J]. Computer Science, 2014.）

###1.10 长短期记忆（LSTM（long short term memory）unit）

在上一个视频中你已经学了GRU（门控循环单元）。它能够让你可以在序列中学习非常深的连接。其他类型的单元也可以让你做到这个，比如LSTM即长短时记忆网络，甚至比GRU更加有效，让我们看看。

GRU $a^{< t >} = c^{<t>}$ 。

还有两个门:

$\Gamma_{u}$ （the update gate）

$\Gamma_{r}$ （the relevance gate）

${\tilde{c}}^{<t>}$ $\Gamma_{u}$ ${\tilde{c}}^{<t>}$ $c^{<t>}$ 。

LSTM是一个比GRU更加强大和通用的版本，这多亏了 Sepp Hochreiter和 Jurgen Schmidhuber，感谢那篇开创性的论文，它在序列模型上有着巨大影响。我感觉这篇论文是挺难读懂的，虽然我认为这篇论文在深度学习社群有着重大的影响，它深入讨论了梯度消失的理论，我感觉大部分的人学到LSTM的细节是在其他的地方，而不是这篇论文。

这就是LSTMc ${\tilde{c}}^{<t>} = tanh(W_{c}\left\lbrack a^{<t-1>},x^{<t>} \right\rbrack +b_{c}$ ${\tilde{c}}^{<t>}$ LSTM $a^{<t>} = c^{<t>}$ $a^{<t>}$ $a^{<t-1>}$ $c^{<t-1>}$ $\Gamma_{r}$ ，即相关门。虽然你可以使用LSTM的变体，然后把这些东西（左边所示的GRU公式）都放回来，但是在更加典型的LSTM里面，我们先不那样做。

$\Gamma_{u}$ $W_{u}$ $\Gamma_{u}= \sigma(W_{u}\left\lbrack a^{<t-1>},x^{<t>} \right\rbrack +b_{u})$ LSTM $\Gamma_{u}$ $1-\Gamma_{u}$ $\Gamma_{u}$ 。

the forget gate $\Gamma_{f}$ $\Gamma_{f} =\sigma(W_{f}\left\lbrack a^{<t-1>},x^{<t>} \right\rbrack +b_{f})$ （上图编号8所示）；

$\Gamma_{o} =\sigma(W_{o}\left\lbrack a^{<t-1>},x^{<t>} \right\rbrack +>b_{o})$ （上图编号9所示）；

$c^{<t>} =\Gamma_{u}*{\tilde{c}}^{<t>} + \Gamma_{f}*c^{<t-1>}$ （上图编号10所示）；

$c^{<t-1>}$ ${\tilde{c}}^{<t>}$ $\Gamma_{u}$ $\Gamma_{f}$ ，

$\Gamma_{u}= \sigma(W_{u}\left\lbrack a^{<t-1>},x^{<t>} \right\rbrack +b_{u})$ 上图编号5所示）；

$\Gamma_{f} =\sigma(W_{f}\left\lbrack a^{<t-1>},x^{<t>} \right\rbrack +b_{f})$ 上图编号8所示）和输出门（上图编号9所示）。

$a^{<t>} = c^{<t>}$ $a^{<t>} = \Gamma_{o}*c^{<t>}$ 。这就是LSTM主要的式子了，然后这里（上图编号11所示）有三个门而不是两个，这有点复杂，它把门放到了和之前有点不同的地方。

再提一下，这些式子就是控制LSTM行为的主要的式子了（上图编号1所示）。像之前一样用图片稍微解释一下，先让我把图画在这里（上图编号2所示）。如果图片过于复杂，别担心，我个人感觉式子比图片好理解，但是我画图只是因为它比较直观。这个右上角的图的灵感来自于Chris Ola的一篇博客，标题是《理解LSTMUnderstanding LSTM Network $a^{<t-1>}$ $x^{<t>}$ $a^{<t-1>}$ $x^{<t>}$ $\Gamma_{f}$ $\Gamma_{u}$ $\Gamma_{o}$ tanh ${\tilde{c}}^{<t>}$ $c^{<t-1>}$ $c^{<t>}$ （上图编号7所示）。

$x^{<1>}$ $x^{<2>}$ $x^{<3>}$ $a$ $a$ $c$ LSTM $c^{<0>}$ $c^{<3>} = c^{<0>}$ （上图编号12所示）。这就是为什么LSTM和GRU非常擅长于长时间记忆某个值，对于存在记忆细胞中的某个值，即使经过很长很长的时间步。

LSTM $a^{<t-1>}$ $x^{<t>}$ $c^{<t-1>}$ 的值（上图编号13所示），这叫做“窥视孔连接”（peephole connection偷窥孔连接 $a^{<t-1>}$ $x^{<t>}$ $c^{<t-1>}$ $\Gamma_{u}$ $\Gamma_{f}$ $\Gamma_{o}$ ）来计算了。

LSTM $c^{<t-1>}$ $c^{<t-1>}$ $c^{<t-1>}$ 偷窥孔连接 $c^{<t-1>}$ 也能影响门值。

LSTM前向传播图：

STM_rn

LSTM反向传播计算：

门求偏导：

$d \Gamma_o^{\langle t \rangle} = da_{next}*\tanh(c_{next}) * \Gamma_o^{\langle t \rangle}*(1-\Gamma_o^{\langle t \rangle})\tag{1}$

$d\tilde c^{\langle t \rangle} = dc_{next}*\Gamma_i^{\langle t \rangle}+ \Gamma_o^{\langle t \rangle} (1-\tanh(c_{next})^2) * i_t * da_{next} * \tilde c^{\langle t \rangle} * (1-\tanh(\tilde c)^2) \tag{2}$

$d\Gamma_u^{\langle t \rangle} = dc_{next}*\tilde c^{\langle t \rangle} + \Gamma_o^{\langle t \rangle} (1-\tanh(c_{next})^2) * \tilde c^{\langle t \rangle} * da_{next}*\Gamma_u^{\langle t \rangle}*(1-\Gamma_u^{\langle t \rangle})\tag{3}$

$d\Gamma_f^{\langle t \rangle} = dc_{next}*\tilde c_{prev} + \Gamma_o^{\langle t \rangle} (1-\tanh(c_{next})^2) * c_{prev} * da_{next}*\Gamma_f^{\langle t \rangle}*(1-\Gamma_f^{\langle t \rangle})\tag{4}$

参数求偏导：

$dW_f = d\Gamma_f^{\langle t \rangle} * \begin{pmatrix} a_{prev} \\ x_t\end{pmatrix}^T \tag{5}$ $dW_u = d\Gamma_u^{\langle t \rangle} * \begin{pmatrix} a_{prev} \\ x_t\end{pmatrix}^T \tag{6}$ $dW_c = d\tilde c^{\langle t \rangle} * \begin{pmatrix} a_{prev} \\ x_t\end{pmatrix}^T \tag{7}$ $dW_o = d\Gamma_o^{\langle t \rangle} * \begin{pmatrix} a_{prev} \\ x_t\end{pmatrix}^T \tag{8}$

$db_f, db_u, db_c, db_o$ $d\Gamma_f^{\langle t \rangle}, d\Gamma_u^{\langle t \rangle}, d\tilde c^{\langle t \rangle}, d\Gamma_o^{\langle t \rangle}$ 求和。

最后，计算隐藏状态、记忆状态和输入的偏导数：

$da_{prev} = W_f^T*d\Gamma_f^{\langle t \rangle} + W_u^T * d\Gamma_u^{\langle t \rangle}+ W_c^T * d\tilde c^{\langle t \rangle} + W_o^T * d\Gamma_o^{\langle t \rangle} \tag{9}$

$dc_{prev} = dc_{next}\Gamma_f^{\langle t \rangle} + \Gamma_o^{\langle t \rangle} * (1- \tanh(c_{next})^2)*\Gamma_f^{\langle t \rangle}*da_{next} \tag{10}$ $dx^{\langle t \rangle} = W_f^T*d\Gamma_f^{\langle t \rangle} + W_u^T * d\Gamma_u^{\langle t \rangle}+ W_c^T * d\tilde c_t + W_o^T * d\Gamma_o^{\langle t \rangle}\tag{11}$

这就是LSTM，我们什么时候应该用GRU？什么时候用LSTM？这里没有统一的准则。而且即使我先讲解了GRU，在深度学习的历史上，LSTM也是更早出现的，而GRU是最近才发明出来的，它可能源于Pavia在更加复杂的LSTM模型中做出的简化。研究者们在很多不同问题上尝试了这两种模型，看看在不同的问题不同的算法中哪个模型更好，所以这不是个学术和高深的算法，我才想要把这两个模型展示给你。

GRU的优点是这是个更加简单的模型，所以更容易创建一个更大的网络，而且它只有两个门，在计算性上也运行得更快，然后它可以扩大模型的规模。

但是LSTM更加强大和灵活，因为它有三个门而不是两个。如果你想选一个使用，我认为LSTM在历史进程上是个更优先的选择，所以如果你必须选一个，我感觉今天大部分的人还是会把LSTM作为默认的选择来尝试。虽然我认为最近几年GRU获得了很多支持，而且我感觉越来越多的团队也正在使用GRU，因为它更加简单，而且还效果还不错，它更容易适应规模更加大的问题。

所以这就是LSTM，无论是GRU还是LSTM，你都可以用它们来构建捕获更加深层连接的神经网络。

（Hochreiter S, Schmidhuber J. Long Short-Term Memory[J]. Neural Computation, 1997, 9(8):1735-1780.）

###1.11 双向循环神经网络（Bidirectional RNN）

现在，你已经了解了大部分RNN模型的关键的构件，还有两个方法可以让你构建更好的模型，其中之一就是双向RNN模型，这个模型可以让你在序列的某点处不仅可以获取之前的信息，还可以获取未来的信息，我们会在这个视频里讲解。第二个就是深层的RNN，我们会在下个视频里见到，现在先从双向RNN开始吧。

为了了解双向RNNTeddy $\hat y^{<3>}$ （上图编号2所示）是0还是1，除了前3个单词，你还需要更多的信息，因为根据前3个单词无法判断他们说的是Teddy熊，还是前美国总统Teddy Roosevelt，所以这是一个非双向的或者说只有前向的RNN。我刚才所说的总是成立的，不管这些单元（上图编号3所示）是标准的RNN块，还是GRU单元或者是LSTM单元，只要这些构件都是只有前向的。

那么一个双向的RNNRNN $x^{<1>}$ $x^{<4>}$ ${\overrightarrow{a}}^{<1>}$ ${\overrightarrow{a}}^{<2>}$ ${\overrightarrow{a}}^{<3>}$ ${\overrightarrow{a}}^{<4>}$ $x$ $\hat y^{<1>}$ $\hat y^{<2>}$ $\hat y^{<3>}$ $\hat y^{<4>}$ 。

RNN ${\overleftarrow{a}}^{<1>}$ ${\overleftarrow{a}}^{<2>}$ ${\overleftarrow{a}}^{<3>}$ ${\overleftarrow{a}}^{<4>}$ 反向连接，所以这里的左箭头代表反向连接。

$a$ $x^{<1>}$ $x^{<4>}$ ${\overrightarrow{a}}^{<1>}$ ${\overrightarrow{a}}^{<2>}$ ${\overrightarrow{a}}^{<3>}$ ${\overrightarrow{a}}^{<4>}$ ${\overleftarrow{a}}^{<4>}$ ${\overleftarrow{a}}^{<3>}$ ${\overleftarrow{a}}^{<3>}$ ${\overleftarrow{a}}^{<2>}$ ${\overleftarrow{a}}^{<1>}$ ，把所有这些激活值都计算完了就可以计算预测结果了。

$\hat y^{<t>}$ $\hat y^{<t>} =g(W_{g}\left\lbrack {\overrightarrow{a}}^{< t >},{\overleftarrow{a}}^{< t >} \right\rbrack +b_{y})$ $x^{<1>}$ ${\overrightarrow{a}}^{<1>}$ ${\overrightarrow{a}}^{<2>}$ ${\overrightarrow{a}}^{<3>}$ $\hat y^{<3>}$ $x^{<1>}$ $x^{<2>}$ $x^{<3>}$ $x^{<4>}$ ${\overleftarrow{a}}^{<4>}$ ${\overleftarrow{a}}^{<3>}$ $\hat y^{<3>}$ （上图编号3所示的路径）。这样使得时间3的预测结果不仅输入了过去的信息，还有现在的信息，这一步涉及了前向和反向的传播信息以及未来的信息。给定一个句子"He said Teddy Roosevelt..."来预测Teddy是不是人名的一部分，你需要同时考虑过去和未来的信息。

这就是双向循环神经网络，并且这些基本单元不仅仅是标准RNN单元，也可以是GRU单元或者LSTM单元。事实上，很多的NLP问题，对于大量有自然语言处理问题的文本，有LSTM单元的双向RNN模型是用的最多的。所以如果有NLP问题，并且文本句子都是完整的，首先需要标定这些句子，一个有LSTM单元的双向RNN模型，有前向和反向过程是一个不错的首选。

以上就是双向RNN的内容，这个改进的方法不仅能用于基本的RNN结构，也能用于GRU和LSTM。通过这些改变，你就可以用一个用RNN或GRU或LSTM构建的模型，并且能够预测任意位置，即使在句子的中间，因为模型能够考虑整个句子的信息。这个双向RNN网络模型的缺点就是你需要完整的数据的序列，你才能预测任意位置。比如说你要构建一个语音识别系统，那么双向RNN模型需要你考虑整个语音表达，但是如果直接用这个去实现的话，你需要等待这个人说完，然后获取整个语音表达才能处理这段语音，并进一步做语音识别。对于实际的语音识别的应用通常会有更加复杂的模块，而不是仅仅用我们见过的标准的双向RNN模型。但是对于很多自然语言处理的应用，如果你总是可以获取整个句子，这个标准的双向RNN算法实际上很高效。

好的，这就是双向RNN，下一个视频，也是这周的最后一个，我们会讨论如何用这些概念，标准的RNN，LSTM单元，GRU单元，还有双向的版本，构建更深的网络。

###1.12 深层循环神经网络（Deep RNNs）

目前你学到的不同RNN的版本，每一个都可以独当一面。但是要学习非常复杂的函数，通常我们会把RNN的多个层堆叠在一起构建更深的模型。这节视频里我们会学到如何构建这些更深的RNN。

$x$ $a^{\left\lbrack 1 \right\rbrack}$ $a^{\left\lbrack 2 \right\rbrack}$ $a^{\left\lbrack 3 \right\rbrack}$ $\hat{y}$ 。深层的RNN网络跟这个有点像，用手画的这个网络（下图编号1所示），然后把它按时间展开就是了，我们看看。

这是我们一直见到的标准的RNNRNN $a^{<0 >}$ $a^{\lbrack 1\rbrack <0>}$ $a^{\lbrack l\rbrack <t>}$ 来表示第l层的激活值，这个< $t$ $a^{\lbrack 1\rbrack <1>}$ $a^{\lbrack 1\rbrack <2>}$ $a^{\lbrack 1\rbrack <3>}$ $a^{\lbrack 1\rbrack <4>}$ 。然后我们把这些（上图编号4方框内所示的部分）堆叠在上面，这就是一个有三个隐层的新的网络。

$a^{\lbrack 2\rbrack <3>}$ $a^{\lbrack 2\rbrack <3>}$ $a^{\lbrack 2\rbrack < 3 >} = g(W_{a}^{\left\lbrack 2 \right\rbrack}\left\lbrack a^{\left\lbrack 2 \right\rbrack < 2 >},a^{\left\lbrack 1 \right\rbrack < 3 >} \right\rbrack + b_{a}^{\left\lbrack 2 \right\rbrack})$ $W_{a}^{\left\lbrack 2 \right\rbrack}$ $b_{a}^{\left\lbrack 2 \right\rbrack}$ $W_{a}^{\left\lbrack 1 \right\rbrack}$ $b_{a}^{\left\lbrack 1 \right\rbrack}$ 。

对于像左边这样标准的神经网络，你可能见过很深的网络，甚至于100层深，而对于RNNRNN $y^{<1>}$ $y^{<2>}$ $y^{<3>}$ $y^{<4>}$ 也一样，这是一个深层网络，但没有水平方向上的连接，所以这种类型的结构我们会见得多一点。通常这些单元（上图编号3所示）没必要非是标准的RNN，最简单的RNN模型，也可以是GRU单元或者LSTM单元，并且，你也可以构建深层的双向RNN网络。由于深层的RNN训练需要很多计算资源，需要很长的时间，尽管看起来没有多少循环层，这个也就是在时间上连接了三个深层的循环层，你看不到多少深层的循环层，不像卷积神经网络一样有大量的隐含层。

这就是深层RNN的内容，从基本的RNN网络，基本的循环单元到GRU，LSTM，再到双向RNN，还有深层版的模型。这节课后，你已经可以构建很不错的学习序列的模型了。

第五门课 序列模型(Sequence Models)

第一周 循环序列模型（Recurrent Neural Networks）

1.1 为什么选择序列模型？（Why Sequence Models?）

第五门课序列模型(Sequence Models)

第一周循环序列模型（Recurrent Neural Networks）