Graph Transformer Networks: 开创异构图表示学习的新方法

本文为一篇典型的原始研究论文，由Seongjun Yun、Minbyul Jeong、Raehyun Kim、Jaewoo Kang*和Hyunwoo J. Kim*完成，隶属于韩国高丽大学计算机科学与工程系。论文发表在“33rd Conference on Neural Information Processing Systems (NeurIPS 2019)”上。本文提出了一种全新的图网络框架：Graph Transformer Networks（GTNs），该研究专注于异构图（heterogeneous graphs）表示学习中的图结构优化问题，并在多个异构图节点分类基准任务上取得了领先表现。

研究背景与动机

Graph Neural Networks（GNNs，图神经网络）近年来在图数据上的表示学习任务中取得了广泛成功，并在节点分类、链路预测和图分类等任务上达到了SOTA（state-of-the-art）性能。然而，现大多数GNN框架假设图结构是固定且同构的（homogeneous graphs，即只有单一节点和边类型）。这一假设对包含多种节点/边类型的异构图特别不适用。例如：在引文网络中，节点可以是作者、论文或会议，边可以代表作者-论文或论文-会议等关系。传统方法要么忽略这些异构属性，将异构图转换为单一图，要么需要领域专家手动设计meta-paths（元路径）。这些方法的劣势在于需要大量人为干预，且可能遗漏任务关键的图结构。

因此，本文的核心目标是开发一种框架，能够自动生成多跳连接和元路径的图结构，无需领域知识手动干预，并在自动生成的图结构上进行端到端的节点特征表示学习。

研究方法

整体框架

本文提出了一种新颖的框架——Graph Transformer Networks（GTNs），用于在异构图上学习新的图结构，使其包含任务相关的元路径（meta-paths）与多跳连接，同时在这些结构上学习有效的节点表示。

GTNs的核心在于“图转换层”（Graph Transformer Layer）。该层通过一种软选择（soft selection）机制从候选边类型中生成新的图邻接矩阵，再通过边关系的复合连接（矩阵乘法）生成多跳邻接矩阵。新生成的图结构能捕获对下游任务有用的元路径。整个过程是端到端且无需领域知识的。

细节流程

GTNs的工作流程可分为以下几个步骤：

1. 输入数据与特征加载：

   • 异构图被表示为包含多种边类型的邻接矩阵集合${A_k}$（$k$为边类型数量）。
   • 每个节点$V$都有特征向量$X$表示。

2. 图转换层（Graph Transformer Layer）：

   • 图转换层通过1×1卷积计算每种边类型邻接矩阵的权重（使用softmax归一化）。
   • 基于不同边类型的权重，结合矩阵乘法生成复合关系所定义的元路径邻接矩阵（meta-path adjacency matrix）。

3. 多层图转换与图卷积结合：

   • 图转换网络堆叠多个转换层，每一层负责生成更长或更复杂的元路径矩阵。
   • 在所有生成的meta-paths图结构上，分别应用图卷积网络（GCN）以生成多种节点表示。
   • 最终，各meta-path图上的节点表示通过拼接操作组合，并送入后续分类器。

4. 模型训练与优化：

   • 使用交叉熵损失函数对节点分类任务进行训练。
   • 学习权重包括图转换层的参数（生成元路径的权重）和图卷积层的参数（特征传播的线性变换）。

实验设计与数据集

数据集

论文在以下三个异构图上进行实验，主要任务为节点分类： 1. DBLP: - 包含节点类型：论文（P）、作者（A）、会议（C），以及四种边类型（PA、AP、PC、CP）。 - 节点特征为论文关键词的词袋表达，节点标签为作者的研究领域。 2. ACM: - 包含节点类型：论文（P）、作者（A）、学科领域（S）； - 节点特征为关键词词袋表达，节点标签为论文类别。 3. IMDB: - 包含节点类型：电影（M）、导演（D）、演员（A），以及四种边类型。 - 节点特征来自电影情节描述的词袋表示，节点标签为电影类型。

比较基线模型

1. 随机游走方法：
   • DeepWalk: 在整个异构图上忽略异构性，直接进行随机游走嵌入。
   • Metapath2vec: 按预定义元路径进行随机游走，并结合Skip-Gram来学习嵌入。
2. 图神经网络方法：
   • GCN/ GAT：忽略异构性，直接在图上卷积或应用注意力机制。
   • HAN: 使用人工预定义元路径，将异构图转化为若干子图，并在各子图上分别应用注意力机制。

实验流程

每个数据集使用标准划分方案，分别保留了训练集、验证集和测试集。本文使用的模型参数在验证集上进行优化。GTNs在DBLP和IMDB数据集上堆叠3层转换层，在ACM数据集上使用2层。

实验结果

节点分类性能

在三个数据集上的F1分数中，GTNs稳定优于所有基线模型，结果如下： - DBLP: GTN 94.18 (vs HAN 92.83) - ACM: GTN 92.68 (vs HAN 90.96) - IMDB: GTN 60.92 (vs GCN 56.89)

分析结果表明，GTNs在无领域知识预定义元路径的情况下，能够生成更有效的图结构，从而学习到更精准的节点表示。

效果验证

• 人工定义元路径对比: 在DBLP数据集上，人工定义的meta-path（如APCPA、APA）被GTNs成功学习到，表明其具备自动发现任务关键元路径的能力。 更进一步，GTNs还发现了如CPCPA等易被人为忽略的重要元路径，这在一定程度上揭示GTNs的解释性强。
• 可变长元路径生成: 通过添加身份矩阵（identity matrix），GTNs能够生成多种长度（包括短元路径与长元路径）的meta-path，适应不同任务需求。

研究结论

本文提出的Graph Transformer Networks在理论和实际表现上均具有显著的创新性与优越性： 1. 理论贡献： - 提供了学习异构图上新图结构的通用框架，减少了人为干预。 - 自动生成多跳连接和元路径，提升对复杂异构关系的建模能力。 2. 实际价值： - 在节点分类任务中超越现有基线模型，具有实际应用价值。 - 为处理其他异构图任务（如链路预测和图分类）提供了可迁移的新方法。

研究亮点与未来工作

亮点

1. 提出了全新高效的图结构生成方法，无需人工设计meta-paths。
2. 全框架端到端，结合图卷积实现表示学习。
3. 模型具备良好的解释性: 可指出重要元路径的权重贡献。

未来方向

• 探讨GTNs与其他GNN架构的结合，例如基于注意力机制或变分自编码器等。
• 在其他图任务（如链路预测、推荐系统）中扩展GTNs的适用性。

Graph Transformer Networks代表了一种无需人为干预却能深度挖掘图结构潜力的方法，为异构图表示学习打开了新的研究方向。