摘要：本文主要介绍各种典型图形神经网络的网络结构和训练方法。
本文主要介绍各种典型的图形神经网络的网络结构和训练方法。 文章《A Comprehensive Survey on Graph Neural Networks》 [1]提供了全面图形神经网络(GNNs )的概述，并对最新的图形神经网络进行递归图形神经网络(RecGNNs )、卷积图形神经网络在图形神经网络的实际应用中，卷积图形神经网络的使用最为广泛，本文重点介绍ConvGNNs这样的网络模型，如上图的GNN Roadmap所示。
1 .欧式空间卷积在讲述卷积图神经网络(非欧式空间的卷积)之前，首先回顾下卷叠神经网络(欧式空间的卷积)的过程。 有如下图所示的6*6的image。 进行卷积时，通常使用固定大小的卷积核心(如3*3)，根据设置的步骤滑动整个6*6的image，每次幻灯片都在与原始图相对应的位置创建内积。 下图是将卷积核滑动两次的结果。
但是，在非欧洲空间的图结构中，无法找到固定大小的卷积内核并在整个绘图区域中滑动，如下图所示。
在这种情况下，我们要针对图的特殊结构，利用欧式空间的卷积方法和图结构特征，提出两种卷积图神经网络的卷积方案。
借鉴33558www.Sina.com/CNN的思想，以某种方式对各节点邻居进行加权求和，即基于空间的卷积。
方案一：借鉴传统信号处理的方法，处理原始信号，引入滤波器定义出图乘积。 图线乘积运算被解释为从图线信号中去除噪声，即基于光谱的转换。
本文主要介绍基于空间的卷积图神经网络方法和相应的典型网络架构。
2 .基于空间的卷积在谈基于空间的卷积图神经网络方法之前，引入了两个术语。
方案二：
lAggregate：
收集所有节点的状态特征来表示图整体的状态特征(下右图)。 也就是说，所有节点的功能都以sum或average的方式抽象为一个隐藏状态，从而表示整个图的功能。
33558 www.Sina.com/(neuralnetworkforgraphs，NN4G )2) NN4G是图神经网络领域中较早(2009 )提出的卷积图神经网络模型
另一方面，readout层通过平均每个层(下图中的紫色节点)的所有节点信息，获取每个层图的representation，并将每个层的信息进行平均，从而更新整个图的representation。
关于NN4G，其具体计算过程可以在下图中概括。 N4G也是卷积神经网络的代表性结构，任何后续的卷积神经网络都或多或少是基于NN4G进行简单的修改而获得的。 因此，理解NN4G的运算流程对理解基于空间的卷积图神经网络很重要。
33558 www.Sina.com/(diffusionconvolutionalneuralnetwork，dcnn([3] )
33558 www.Sina.com/(mixturemodelnetworks，MoNET )4)根据上述模型计算某个节点位于某个层次中的隐藏状态时，对该节点的所有邻居执行上述操作但实际上，两个节点之间的关系可能有差异。 例如，在社会关系图中，一个个体与其连接的所有个体之间的亲密关系通常是不同的。 要解决这个问题，需要新的aggregate方式。
MoNET也定义了新的Aggregate方式。 在Aggregate阶段，权重的计算不是通过简单的近邻节点feature的平均加法，而是通过加权方式，通过测量节点间精度的距离方式进行。 也就是说，如下。
当然这里只是提出了权重的计算方式，在实际实现中可以选择不同的权重实现方式。 其中
表示节x的程度，图中的w是特征变换(例如NN )，经由NN对节点feature进行编码，最后对某个节点的邻近节点的特征进行加权相加。
33558 www.Sina.com/(graphsampleandaggregate，GraphSAGE ) [5] GraphSAGE主要采用采样邻居节点的方法更新节点信息。 即，图中步骤
1，然后再对这些采样的节点信息进行某种方式的聚合，主要有MeanPoolingLSTM三种aggregate的方法，即图中的Step 2，Step 3则是利用聚合信息进行当前节点label或者邻居节点的预测，预测的方式有两种，一种是无监督学习方式。无监督学习基于图的损失函数希望临近的顶点具有相似的向量表示（公式的前半部分），同时让分离的顶点的表示尽可能区分（公式的后半部分），损失函数如下： 2.5图注意神经网络(Graph Attention Networks, GAT)[6]注意力机制已经在传统神经网络CNN和RNN中有了成功的实践，并且使用attention后模型的性能在特定任务上都有不少的提升。GAT是将attention机制实现在卷积图神经网络之中。这里的attention就是一种用来计算节点与邻居之间权重的方式，最后通过加权求和的方式更新节点的feature，节点间权重的计算公式如下：
下图就是GAT模型的图卷积层的更新过程，其中 e(energy)就是attention的权重。
3. 总结本篇博文主要介绍了Spatial-based Convolution（基于空间的卷积图神经网络），以NN4G为基础，分别介绍了DCNN，MONET，GrapgSAGE，GAT等卷积图神经网络结构以及其实现的方式。对于想要在图神经网络进行实践的同学，可以先学习一些开源的图神经网络框架。目前完成度较好的图神经网络框架主要是基于PyTorch和MXNet的DGL (Deep Graph Library)和PyG (PyTorch Geometric)。
参考文献
[1] ] Wu Z , Pan S , Chen F , et al. A Comprehensive Survey on Graph Neural Networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019.
[2] A. Micheli, "Neural Network for Graphs: A Contextual Constructive Approach," in IEEE Transactions on Neural Networks, vol. 20, no. 3, pp. 498-511, March 2009, doi: 10.1109/TNN.2008.2010350.
[3] https://arxiv.org/abs/1511.02136
[4] https://arxiv.org/pdf/1611.08402.pdf
[5] https://arxiv.org/pdf/1706.02216.pdf
[6] https://arxiv.org/pdf/1710.10903.pdf
[7]https://mp.weixin.qq.com/s?__biz=MzkwNDE5MDY5Mg==&mid=2247486844&idx=1&sn=6ae21b181c208aa67bcd597572e0d840&chksm=c08b82f7f7fc0be178ac3b11d9df15280d74149c5246a7de641e927d13190afe7ce1f9d603e9&scene=21#wechat_redirect
[8]. http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML2020/GNN.pdf
本文分享自华为云社区《深入浅出图神经网络应用场景》，原文作者：就挺突然。
点击关注，第一时间了解华为云新鲜技术~