分享自:

图神经网络综合调查

期刊:ieee transactions on neural networks and learning systemsDOI:10.1109/tnnls.2020.2978386

这篇由Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang 和 Philip S. Yu 共同撰写,于2021年1月发表在 IEEE Transactions on Neural Networks and Learning Systems 的论文《A Comprehensive Survey on Graph Neural Networks》是一篇关于图神经网络(Graph Neural Networks, GNNs)的综合性综述。该文旨在为这个快速发展的领域提供一个全面、系统的概览,服务于希望进入该领域的研究者和希望比较不同模型的专家。本文的核心贡献在于提出了一种新的GNN分类法,系统性地回顾了现代深度学习技术在图数据上的应用,并汇集了丰富的资源,同时探讨了未来的研究方向。

本文首先阐述了图神经网络兴起的学术背景。近年来,深度学习(Deep Learning)在图像分类、语音识别、自然语言理解等诸多欧几里得数据任务中取得了革命性成功。然而,现实应用中存在大量从非欧几里得域生成的数据,这些数据被表示为具有复杂对象间关系和相互依赖性的图(Graph),例如电子商务中的用户-商品交互图、化学中的分子结构图、学术中的引文网络等。图的复杂性(如节点无序、邻居数量可变、实例间相互关联)给传统机器学习算法带来了巨大挑战。因此,扩展深度学习方法来处理图数据的研究兴趣日益增长,图神经网络应运而生。本文的目标正是对这一领域进行系统性梳理,填补现有综述文献的不足(如仅涵盖部分模型、遗漏最新进展),提供一个涵盖更广范围方法的全面概述。

论文的第一个核心要点是提出了一种新颖且全面的GNN分类法。作者将现有的图神经网络划分为四大类别:循环图神经网络(Recurrent Graph Neural Networks, RecGNNs)、卷积图神经网络(Convolutional Graph Neural Networks, ConvGNNs)、图自编码器(Graph Autoencoders, GAEs)和时空图神经网络(Spatial–Temporal Graph Neural Networks, STGNNs)。这一分类体系构成了全文综述的骨架。

  1. 循环图神经网络(RecGNNs):这是GNN的先驱工作。其核心思想是假设图中的节点通过循环神经架构不断与邻居交换信息,直至达到稳定状态,从而学习节点表示。早期模型如GNN*通过收缩映射确保收敛,而后续的图回声状态网络(GraphESN)提升了训练效率,门控图神经网络(GGNN)则使用门控循环单元(GRU)固定循环步数,摆脱了收敛性约束。这类方法奠定了信息传播(Message Passing)的思想基础,但其迭代过程通常计算成本较高。

  2. 卷积图神经网络(ConvGNNs):这是当前最主流和活跃的研究方向。它们通过堆叠具有不同权重的图卷积层(而非循环迭代)来捕获节点间的相互依赖关系,效仿了CNN在图像领域的成功。ConvGNNs又可进一步分为两大流派:

    • 基于谱方法(Spectral-based):从图信号处理的角度定义图卷积,将卷积操作视为在由拉普拉斯矩阵特征向量定义的正交空间中对图信号进行滤波。代表性工作包括开创性的Spectral CNN、利用切比雪夫多项式进行高效近似的ChebNet,以及通过一阶近似极大简化和普及的图卷积网络(Graph Convolutional Network, GCN)。GCN虽然源于谱方法,但其操作可解释为在空间上聚合节点及其邻居的特征,成为了连接谱方法与空间方法的桥梁。
    • 基于空间方法(Spatial-based):直接在图域上定义卷积,通过聚合中心节点及其邻居的特征来生成新的节点表示,本质上是信息传播思想的延伸。代表性模型繁多,例如:NN4G(首个空间方法)、将卷积视为扩散过程的DCNN、提出通用消息传递框架MPNN的模型、通过采样提高大规模图可扩展性的GraphSAGE、引入注意力机制为不同邻居分配不同权重的图注意力网络(Graph Attention Network, GAT)、通过节点排序将图结构转化为网格结构进行卷积的Patchy-SAN等。空间方法因其高效性、灵活性和对多种图类型(如有向图、异构图)的良好泛化能力而备受青睐。
  3. 图自编码器(GAEs):这是一类无监督学习框架,旨在将节点或图编码到隐向量空间,并从编码信息中重构图数据。GAEs主要用于两大任务:

    • 网络嵌入(Network Embedding):通过学习到的低维向量表示来保持图的拓扑结构信息。早期方法如SDNE使用多层感知机自编码器来保持节点的一阶和二阶相似性。后续工作如GAE*和变分图自编码器(Variational GAE, VGAE)则利用GCN作为编码器,性能更优。其他方法如GraphSAGE使用负采样目标函数,而DGI通过最大化局部互信息来学习嵌入。
    • 图生成(Graph Generation):学习图的生成分布,在药物发现等领域有重要应用。生成方式可分为序列生成(如DeepGMG、GraphRNN逐步添加节点和边)和全局生成(如GraphVAE、MolGAN一次生成整个图,后者还结合了生成对抗网络GAN和强化学习)。
  4. 时空图神经网络(STGNNs):用于处理同时具有空间依赖性和时间动态性的图数据,如交通网络、人体动作序列。主要目标是对未来节点值或图标签进行预测。当前方法主要沿两个方向:

    • 基于RNN的方法:使用图卷积来过滤输入到循环单元(如LSTM、GRU)的输入和隐藏状态,以同时捕获时空依赖性,如GCRN、DCRNN。
    • 基于CNN的方法:交替使用一维CNN层和图卷积层来分别学习时间和空间依赖性,具有并行计算、梯度稳定等优势,如CGCN、ST-GCN。一些先进工作如Graph WaveNet还能从数据中自动学习潜在的图结构(自适应邻接矩阵),而ASTGCN则进一步引入了时空注意力机制。

论文的第二个核心要点是系统阐述了GNN的模型框架与应用。作者详细说明了不同类别GNN如何针对节点级、边级和图级任务构建端到端的学习框架,包括半监督节点分类、有监督图分类(需要结合图池化Pooling和读出Readout操作)以及无监督图嵌入。文中还特别用一节讨论了图池化模块,这是图级任务中用于下采样和生成图表示的关键操作,涵盖了从简单的求和/平均/最大池化,到更复杂的基于聚类(如DiffPool)、排序(如SortPooling)等高级方法。

论文的第三个核心要点是提供了丰富的资源并讨论了理论、应用与未来方向。作者总结了常用的基准数据集(如引文网络Cora、Citeseer,生化分子图数据集,社交网络等),讨论了模型评估中的注意事项和陷阱(例如在节点分类和图分类任务中训练/验证/测试集的划分方式对公平比较的影响),并列举了重要的开源实现库(如PyTorch Geometric, DGL)。在应用方面,文章概述了GNN在计算机视觉(场景图生成、点云分类)、推荐系统、交通预测、药物发现等多个领域的广泛应用。

此外,论文还简要探讨了GNN的理论方面,包括感受野形状、VC维度、图同构判别能力(指出许多GNN的表达能力上限是Weisfeiler-Lehman测试)、等变性/不变性要求以及通用逼近性等理论问题。

最后,文章指出了GNN面临的当前挑战和未来研究方向,作者提出了四个潜在的未来研究方向: 1. 模型深度:解决堆叠多层GNN时出现的过平滑(Over-smoothing)问题,探索更深层的有效架构。 2. 可扩展性与效率的权衡:设计更高效的方法以处理大规模图,在模型表达能力与计算、内存成本之间取得平衡。 3. 异构性:开发能够有效处理包含多种节点类型和边类型的异构图(Heterogeneous Graph)的GNN模型。 4. 动态性:更好地建模动态图,其中图结构和节点属性都可能随时间演变。

总而言之,这篇综述论文具有极高的学术价值和实用意义。它提出的新分类法为理解纷繁复杂的GNN研究提供了一个清晰、系统的框架。对四类GNN及其代表性模型的详尽回顾、比较与总结,使得本文成为研究人员快速掌握领域脉络、进行模型选择和比较的宝贵资料。文中汇集的数据集、代码资源和应用案例为实践提供了便利。而对理论挑战和未来方向的深刻洞察,则能启发后续研究,推动图神经网络领域的持续发展。因此,这篇综述不仅是进入图神经网络领域的优秀指南,也是该领域专家不可或缺的参考手册。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com