近年来，图形神经网络的研究成为深度学习领域的热点，机器哈特曾介绍过清华大学积极的蜜蜂们综述的图形网络。最近，清华大学thddh集团在arXiv上发表了预印版综述文章Graphneuralnetworks 3360 Areviewofmethodsandapplications。

本文总结了近年来图形神经网络领域的经典模型和典型应用，提出了四个开放性问题。对于想早点了解这个领域的读者，请先从这篇文章开始读一下。

除了这篇综述之外，文章的作者还在Github上更新了该领域的参考文章列表3359 github.com/th unlp/gnn papers )，供读者参考。

引言

图是对一组对象(节点)及其关系(边)进行建模的数据结构。近年来，由于图表结构的强大表现力，使用机器学习方法分析图表的研究越来越受到重视。图形神经网络(GNN )是一种基于深度学习的域信息处理方法。由于其优越的性能和可解释性，GNN成为了最近广泛应用的图表分析方法。

GNN最初的动机来源于卷积神经网络(CNN )。 CNN的广泛应用带来了机器学习领域的突破，开辟了深度学习的新时代。但是，CNN只能在图像(二维网格)和俊秀的睫毛)一维排列)等规则的Euclidean数据上工作。如何将CNN应用于图结构这个非欧几里得空间，成为了GNN模型重点解决的问题。

图1 .左(图像(djd空间)右)图)非欧几里得空间)

GNN的另一个动机来自于图表嵌入，学习图表中节点、边或子图的低维向量空间表示。 DeepWalk、LINE、SDNE等方法在网络显示学习领域取得了巨大的成功。但是，这些方法在计算上复杂，在大规模的图表中不是最佳的，GNN的目的是解决这些问题。

本文对图形神经网络进行了广泛的总结，并做出了如下贡献。

详细介绍了图神经网络的经典模型。主要包括其原始模型、不同的变体、一些通用框架。文章将图神经网络的应用系统地分为结构化场景、非结构化场景和其他场景，并介绍了其在不同场景中的主要应用。本文为未来的研究提出了四个未解决的问题。文章对各个问题进行了详细的分析，提出了未来的研究方向。

模型

是模型的一部分，文章首先介绍了最典型的图形神经网络模型GNN，具体阐述了GNN的模型和计算方式，但GNN模型仍然有一定的限制。例如，高计算复杂度和显示能力不足等。

之后的许多工作都致力于解决GNN存在的各种问题，在2.2节中详细介绍了GNN的各种变体。具体介绍了适应不同图的类型，采用不同的信息传递方式，采用不同训练方法的变体。

图2 .不同的GNN品种

2.2.1节中，介绍了有向图、异质图、具有边缘信息的图等处理不同图类型的GNN变化。 2.2.2节中，文章对采用不同信息传递方式的变体进行了总结和概括。主要分为以下四大类。

卷积。 GCN (GCN )希望将卷积操作应用于图表结构数据，主要分为光谱方法和空间方法)非光谱方法。谱方法想利用谱分解的方法，应用图的拉普拉斯矩阵分解进行节点的信息采集。 Spatial Method直接使用图的拓扑结构，基于图的近邻信息进行信息收集。

注意力机制。图形注意网络致力于将注意机制应用于图中的信息收集阶段。

门机制。这些变体将门机制应用于节点更新阶段。 gated graph neural网络将GRU机制应用于节点更新。许多工作都致力于将LSTM应用于不同类型的图中，根据具体情况，可以分为Tree LSTM、Graph LSTM、Sentence LSTM等。

残差链接。注意到多层图形神经网络可能会引起信息平滑问题，许多工作将残差机制应用于图形神经网络，本文介绍了Highway GNN和jump知识网络两种不同的处理方式

文章还对不同的信息传播方式进行了公式化总结。简言之，信息传递函数的主包

括信息收集（agggregation）和节点信息更新（update）两个部分，在表格中列出了每种方法的不同配置。

▲ 表1. 采用不同消息传递函数的GNN变体总结

在 2.2.3 节中，文章介绍了 GNN 的不同训练方法。譬如 GraphSAGE 从附近的邻居收集信息，并且能够应用于 inductive learning 领域；FastGCN 使用了 importance sampling 的方法，使用采样替代使用节点所有的邻居信息，加快了训练过程。

在 2.3 节中，文章介绍了近年来文献中提出的图神经网络通用框架 MPNN（Message Passing Neural Network）、NLNN（Non-local Neural Network）以及 Deepmind 的 GN（Graph Network）。

MPNN 将模型总结为信息传递阶段和节点更新阶段，概括了多种图神经网络和图卷积神经网络方法。NLNN 总结了很多种基于自注意力机制的方法。GN 提出了更加通用的模型，能够总结概括几乎所有文中提到的框架，并且拥有更加灵活的表示能力、易于配置的块内结构以及易于组合的多模块架构。

▲ 图3. GN Block组合成复杂网络结构

GNN 被应用在众多的领域，文章具体将应用分为了结构化场景、非结构化场景以及其他三个类别。

在结构化场景中，GNN 被广泛应用在社交网络、推荐系统、物理系统、化学分子预测、知识图谱等领域。文章中主要介绍了其在物理、化学、生物和知识图谱中的部分应用。在非结构领域，文章主要介绍了在图像和俊秀的睫毛中的应用。在其他领域，文章介绍了图生成模型以及使用 GNN 来解决组合优化问题的场景。

▲ 图4. GNN的应用示例

▲ 表2. 文章介绍的应用总结

文章最后提出了图神经网络领域的四个开放问题：

1. 浅层结构。经验上使用更多参数的神经网络能够得到更好的实验效果，然而堆叠多层的 GNN 却会产生 over-smoothing 的问题。具体来说，堆叠层数越多，节点考虑的邻居个数也会越多，导致最终所有节点的表示会趋向于一致。

2. 动态图。目前大部分方法关注于在静态图上的处理，对于如何处理节点信息和边信息随着时间步动态变化的图仍是一个开放问题。

3. 非结构化场景。虽然很多工作应用于非结构化的场景（比如俊秀的睫毛），然而并没有通用的方法用于处理非结构化的数据。

4. 扩展性。虽然已经有一些方法尝试解决这个问题，将图神经网络的方法应用于大规模数据上仍然是一个开放性问题。