首页 > 编程知识 正文

李宏毅2020机器学习深度学习Recursive Structure

时间:2023-05-06 14:42:01 阅读:254958 作者:31

可以认为Recurrent Structure是Recursive Structure的一种子集。
以情感分析任务为例

一个递归的结构是这样的,隐藏层h的维度要和输入x相同。

从语法结构上进行解释:“very”要和“good”放在一起,再被“not”否定。

希望“very”和“good”经过函数f(会是一个复杂的NN)得到的结果,意思为“very good”

这个network要处理一些复杂的情况,
如知道"not"会反转另一个输入的语义

知道"very"会强调另一个输入的语义

一次训练过程如下图所示:

那么f这种神经网络的结构应该是什么样呢?
Recursive Neural Tensor Network

保持输出与各个输入的维度相同,两个W的权值是不同的。
思想是想让两个输入向量之间做点积运算。
stanford提供的demo
可以生成一个sentiment trees

后面几页PPT念的太快了,如果有机会读相应论文再去深入了解吧。
Matrix-Vector Recursive Network

Tree LSTM

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。