我们先来看看RNN的循环网络结构图：
目前中性网络(rnn )
在时间维度中，为了更好地观察，展开RNN。 主要参数有三个部分。 在RNN中，每个时间步所使用的参数是相同的。 一般来说，需要理解的是，每个时间的输入和输出是不同的。 例如，对顺序数据依次读取顺序项目，各顺序项目对应不同的输出(例如下一个顺序项目)。
bptt (后退传播路由时间)算法展开RNN后，似乎一切都变得清晰了。 前向传播(Forward Propagation )依次按时间顺序计算一次即可，后向传播(backpropagation )从末尾开始计算
前向传播直接上公式之类的：本文使用的公式基本上来自幸福衬衫的论文。 其中，a是聚合计算出的值，b是激活函数计算出的值，w是连接不同节点之间的参数(具体睡觉的人谁看下标)，带下标k的是输出层，带下标h的是隐藏层，除此之外这里没有给出具体的计算方法。 因为这与NN相同，所以可以看到输出层与通常的NN完全相同。 接收从隐藏层传来的数据并乘以参数进行合计。 但是，请将计算出的每个值加上时间t，以指示它是t时间的节点。
隐层的计算是与NN不同的地方。 从前面的拓扑图可以看出，隐藏层接收来自上一个隐藏层的数据。 公式中也出现了。 第一个总和与NN匹配，接收来自输入层的数据，第二个接收来自前面隐藏层的数据。
后向传播这里主要给出计算隐层累积残差的公式。 由于输出层与经典的NN相同，所以可以看到最初的式括号中的两个部分。 一个接收来自当前时间输出层的残差，另一个接收来自下一个时间隐藏层的残差。 看了上面的图其实非常理解。
接下来是手写的笔记本。 有必要修改。