现有的基于graph的工作既不能捕捉每个文档中的上下文单词关系，也不能实现新单词的归纳学习。
2. 介绍基于图的方法有两个主要缺点。首先，忽略了每个文档中上下文相关的单词关系。
具体来说，TextGCN 构建了文档和单词之间具有全局关系的单个图，其中没有考虑细粒度的文本级单词交互。[Text Level Graph Neural Network for Text Classification]中图的边在每对单词之间是全局固定的，但事实是它们在不同的文本中可能彼此影响不同。第二，由于global结构，test文件在train中是必需的。 因此，它们本质上是转导性的，并且在归纳学习方面有困难，在这种归纳学习中，可以使用训练好的模型轻松获得具有新结构和单词的新文档的单词嵌入。
3.2 MethodTextING包括三个关键部分:
thegraph construction
the graph-based word interaction
the readout function。
将唯一的word表示为顶点，将单词之间的co-occurrence表示为边来构造文本文档的图，表示为 G G G = ( V V V， E E E)，其中 V V V是顶点集， E E E是边。co-occurrence描述了在固定大小的滑动窗口(默认长度为3)中出现的单词之间的关系，并且它们在图中没有方向。
文本以标准方式进行预处理，包括tokenize和停词移除。顶点的embedding用单词特征初始化，表示为 h h h ∈ ∈ ∈ R R R ∣ ^| ∣ V ^V V ∣ ^| ∣ × ^× × d ^d d，其中d是嵌入维数。
在每个图上，使用门控GNN来学习单词节点的嵌入。一个节点可以从它的相邻节点接收信息 a a a，然后与它自己的表示合并进行更新。由于图形层对一阶邻居进行操作，则可以将这样的层堆叠 t t t次，以实现高阶特征交互，其中一个节点可以到达多跳的另一个节点：形式上：
A A A是邻接矩阵， z z z表示更新门， hldxy表示重置门。
在单词节点被充分更新之后，它们被聚集成文档的graph级表示，最终的预测基于该graph级表示输出：
其中 f 1 f_1 f1和 f 2 f_2 f2是两个MLP。前者表现为soft注意权重，而后者表现为非线性特征变换。除了对加权单词特征进行平均，我们还对图形表示hG应用了最大池函数。背后的想法是，每个单词都在文本中发挥作用，关键词应该更明确地发挥作用。
最后，通过向softmax层馈送图级向量来预测标签。loss为交叉熵函数:
TextING-M：其中具有局部结构的图(原始TextING)和具有全局结构的图(TextGCN的子图)并行工作。节点保持不变，而后者的边是从每个文档的大图(建立在整个语料库上)中提取的。分别对他们进行训练，让他们以1:1的票数进行最终预测。
4. Experiments 4.1 Datasets. 4.2 Experimental Set-up.train：eval = 9:1
Adam的learning_rate设置为0.01
dropout设置为0.5
word的初始嵌入为GloVe的300维向量作为输入，对于不在GloVe范围内word在[-0.01, 0.01]采样。
vs TextGCN
图4：graph layer 数量的影响
图5：邻居节点数量的影响，当一个节点的邻居数量增加时，它呈现出与交互步骤相似的趋势。