)1)简单理解LSTM神经网络
首先,我建议你读一遍火贪三刀的博客。 说明很容易理解。 简单地说:
1 )递归神经网络recurrentneuralnetworks(rnns ) :当前时间的输出不仅与当前时间的输入有关,而且与前一时间的输出有关。 所有递归神经网络通常是单个tanh层,由从当前输入和先前时刻的输出获得当前输出的迭代神经网络模块组成。
2 )长门(lstm )是一种特殊的RNNs,不使用称为内存块(memory block )的重复单元,主要为三扇门)
3 )六个主要公式:
)2)对上面博客的补充
摘录如下。
作者: lonlon ago
链接: https://www.zhi Hu.com/question/41949741/answer/309529532
来源:知乎
版权归作者所有。 商业转载请联系作者取得许可。 非商业转载请注明出处。
还有几个需要注意的地方:
1 ) cell的状态是向量,有多个值。 我想知道我想知道最初不理解那个的时候怎么也不知道
2 )上次的状态h(t-1 )如何与下一个输入x ) t )联系起来) concat ),在很多资料都不知道的地方也很简单。 concat明确地说是二者直接拼起来,例如将x作为28位的向量、h。
3 )蜂窝的权重是共享,这是什么意思? 这是这个图像上有三个绿色的大框,代表着三个蜂窝,对吧? 但实际上,它只是表示一个 cell 在不同时序时候的状态,所有数据都通过一个cell,并不断更新其权重。
4 )那么一楼的LSTM有几个参数? 根据第三种说明,我们知道参数的数量由cell的数量决定。 这里只有一个cell,所以假设参数的数量就是这个 cell 里面用到的参数个数num_units为128,输入为28比特,根据上面的第二点,四个小黄框的参数全部为(128 28 ) 中间层的参数变成这样。
5 )小区最上面的线的状态s(t )表示长时记忆,下面的h ) t )是工作记忆或短时记忆
暂时就这么多。
个人补充:
6 )补充递归神经网络RNN。 注意,每个绿色单元的输出与输入到下一个单元的值相同。
7 )每个num_units、LSTM网络可将其视为标准LSTM单元。
(3)论文参考https://arxiv.org/pdf/1402.1128 v1.pdf
)4) 3359 m.a liyun.com/yunqi/articles/202939? tk=nwzlfaxyonh vdsfcz9mkuntp 0kr 9212 pfwmtksy 7w=
mnist图像手写字体识别,说明清晰。
)5)知道tensorflow的RNN/LSTM的变量表示什么
(6)用LSTM解决手写字体识别问题
(7) LSTM tensorflow的实现