首页 > 编程知识 正文

Gating mechanisms

时间:2023-05-06 11:42:20 阅读:241088 作者:1961

0:前话:简单介绍RNN,LSTM,

RNN即循环神经网络,即相比于其他神经网络可以数据进行有序学习,对先前的事件进行记忆,从而可以处理一些序列化的任务,例如文本、视频等。但这样做,对于一些需要‘长期记忆’的事情,在反向传播的时候常常会出现梯度消失或者梯度爆炸情况。在LSTM中则使用门控机制,解决这个问题。但由于参数太多,导致训练比较麻烦,则产生了GRU。

1:什么是Gating mechanisms?

门控其实就是通过门控制信息通过的多少。门控单元可以选择性记忆它认为重要的东西,这也和后续出现的注意力机制有着一定的相似之处。其允许给定的输入特征X和值在0和1之间的门向量之间进行相乘,得到结果。

2:Gating mechanisms的作用

在门控的经典用法中当属LSTM。在记忆单元中,如果选择全部记忆信息,则会出现很多信息是多余或者错误的。在LSTM中:

Xt作为当前的输入h^t-1 表示上一个传递状态Z^f通过上一个学习的状态,选择遗忘上一个阶段的一些知识。通过拼接上一状态和当前输入乘上权重W,通过激活函数变成0 1,则可以达到遗忘某些知识的目的。Z^i 同理,达到选择性记忆当前输入的一些目的。Z^o同理,达到选择性输出给下一个状态的目的。Z 使用tanh函数将其转化为-1 1的信息。C^t 作为当前记忆等于遗忘门控 *上一阶段的记忆+记忆门控 * 当前信息。h^t 当前的状态 = 上一个输出状态* 当前的记忆信息。



使用这些门控单元,则可以达到选择性记忆的效果,获取到更多有价值的信息,这也就是门控机制的原理。

3:参考资料

https://zhuanlan.zhihu.com/p/30844905

https://zhuanlan.zhihu.com/p/32085405

Hochreiter, Sepp, and Jürgen Schmidhuber. “Long short-term memory.” Neural computation 9.8 (1997): 1735-1780.

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。