作者及机构
本项研究的主要作者为 Shibing Mo, Xiangyi Teng (Member, IEEE), Kai Wu (Member, IEEE), Jing Liu (Senior Member, IEEE) 以及 Kaixin Yuan。研究人员主要来自中国西安电子科技大学人工智能学院与广州研究院。此项研究成果以题为 “A Universal Subhypergraph-Assisted Embedding Framework for Both Homogeneous and Heterogeneous Networks” 的论文形式，发表于国际知名学术期刊 IEEE Transactions on Knowledge and Data Engineering 第37卷第9期，出版时间为2025年9月。该论文于2024年3月28日收到，历经修订，于2025年6月11日被接受，并于2025年6月23日在线发布。
研究的学术背景
本研究的核心科学领域聚焦于图神经网络 及其在图表示学习，特别是节点嵌入任务中的应用。现实世界中，大量复杂系统，如社交网络、引文网络、生物信息网络等，均可被建模为图结构数据。这些图结构主要分为两类：同质图 ，即图中节点与边的类型单一；以及异质图 ，即图中包含多种类型的节点和/或边。基于这两类图的下游任务，例如节点分类、节点聚类，应用广泛且近年来备受关注。
然而，现有的研究工作大多独立地针对同质图或异质图设计节点分类模型。尽管图神经网络在图表示学习方面取得了巨大成功，但经典的GNN方法（如图卷积网络GCN）主要设计用于同质图，其核心消息传递机制在处理具有复杂语义关系的异质图时面临挑战。对于异质图，许多先进方法需要依赖人工定义的元路径或元图来捕捉语义信息，这不仅需要领域知识，也限制了模型的通用性和自动化程度。与此同时，受到大型语言模型（LLM）的通用性启发，图机器学习领域也兴起了对图基础模型 的探索。因此，如何设计一个能够统一处理同质图与异质图，且不依赖于预定义元路径的通用节点嵌入框架，成为了一个至关重要且具有挑战性的课题。本研究旨在填补这一空白，为图基础模型的通用性研究提供启示。
本研究的目标是提出一个普适的图神经网络框架，该框架能够同时、有效地为同质图和异质图中的节点学习高质量的嵌入表示。具体来说，它旨在克服两大挑战：第一，如何设计一个统一的方法，使其能够应用于两种不同类型的图，并确保学习到图内部的高阶信息；第二，如何从不同类型的图中捕获具有区分度的节点类别特征。
研究的详细工作流程
本研究提出的核心模型称为 SS-GNN ，即基于同类别节点子图和子超图的图神经网络 。其工作流程主要分为三大核心步骤：1）同类别节点子图和子超图的生成；2）子图嵌入模块；3）子超图嵌入模块。整个模型的架构目标是学习同一类别节点的代表性特征，以更好地识别不同类别的节点。
步骤一：子图与子超图的生成 这是模型的预处理与输入构建阶段，目的是从原始图中提取出以节点类别为单位的局部结构。 1. 同类别节点子图生成：对于同质图，这相对直接。研究者通过对原始图的邻接矩阵 ( A ) 进行分解，直接提取出属于同一类别节点的连接关系，形成一系列子图 ( G{sub}^x )，其中 ( x ) 代表类别索引。每个子图的邻接矩阵 ( A{xx} ) 仅包含该类别节点内部的边。 2. 对于异质图，情况更为复杂。异质图中同一类型的节点之间可能不存在直接的连接边。因此，研究提出通过图内已有关系计算节点间的关联矩阵。例如，在一个包含作者(A)、论文(P)、会议©的异质图中，作者节点之间的一阶关联矩阵可以通过作者-论文关联矩阵 ( A^{AP} ) 与其转置相乘来近似获得，即 ( A^{Author}_1 = A^{AP} \times (A^{AP})^T )，这代表了通过共同撰写论文建立的作者关联。对于存在多个此类关联矩阵的情况，本文采用按元素相加的方式进行融合。获得同一类型节点的关联矩阵后，再采用与同质图类似的方法，按节点类别进行分解，生成同类别节点子图。 3. 同类别节点子超图生成：这是本研究的创新点之一，旨在捕获节点间的高阶关系。生成方法如下：选定一个目标类别（如“中文”作者），将该类别中的所有节点作为子超图的节点。然后，将目标类别节点与所有其他类别节点（如“数学”和“计算机”作者）的直接连接关系，转化为超边 。每条超边连接一个目标类别节点和一组（可能多个）其他类别的节点。这样，一个包含X个类别的图就可以生成X个不同的子超图。对于异质图，需先按上述方法计算节点关联矩阵，再应用此生成策略。
步骤二：子图嵌入模块 此模块旨在学习同类别节点在原始图中的成对连接关系以及由同类别节点构成的局部社区信息。模块采用基于注意力机制的消息传递方案。 1. 嵌入过程：对于每一个生成的同类别节点子图，将其输入到一个图注意力层中。对于子图中的节点 ( v_i )，其第 ( l ) 层的嵌入表示 ( h^l(v_i) ) 通过聚合其邻居节点 ( v_j ) 的上一层的嵌入 ( h^{l-1}(vj) ) 来计算，聚合权重由注意力系数 ( \alpha{ij} ) 决定。 2. 注意力机制：注意力系数 ( \alpha_{ij} ) 的计算是关键。首先，将节点的特征通过一个可学习的权重矩阵 ( W ) 和偏置 ( b ) 进行变换，并应用ReLU激活函数，得到节点的“注意力就绪状态” ( u_j )。然后，计算该状态与一个可训练的上下文向量 ( a_1^T ) 的相关性，并通过softmax函数在节点的邻居集合上进行归一化，得到最终的注意力系数。这使得模型能够区分同一子图中不同节点的重要性（如图1中节点n1比n2更具代表性）。 3. 输出：通过对所有类别子图进行并行处理，该模块最终输出所有节点基于其类别内部局部结构学习到的嵌入表示 ( h^l )。
步骤三：子超图嵌入模块 此模块是模型捕捉高阶和隐含特征的核心，它在一个生成的同类别节点子超图上运作，采用双重注意力消息传递机制。 1. 节点到超边的注意力聚合：首先，对于子超图中的每一条超边 ( e_j )，需要聚合其所连接的所有节点的信息来更新超边的嵌入 ( h_e^l(e_j) )。聚合权重由节点对超边的注意力系数 ( \alpha_e(e_j, v_i) ) 决定，其计算方式与子图注意力类似，但使用另一套可训练参数（权重 ( W_n )、偏置 ( b_n ) 和上下文向量 ( a_2^T )）。 2. 超边到节点的注意力聚合：接着，对于子超图中的每一个节点 ( v_i )，需要聚合所有包含该节点的超边的信息来更新节点的嵌入 ( h_n^l(v_i) )。聚合权重由超边对节点的注意力系数 ( \alpha_n(e_j, v_i) ) 决定，同样使用独立的可训练参数（权重 ( W_e )、偏置 ( b_e ) 和上下文向量 ( a_3^T )）。 3. 嵌入融合与优化：通过上述双重注意力机制迭代若干层后，子超图嵌入模块输出所有节点经过高阶关系增强后的最终嵌入表示 ( h_n^l )。然后，将这些表示输入到一个简单的拼接（concat）操作中，形成可用于下游任务的节点特征矩阵 ( X_n )。模型使用标准的交叉熵损失函数进行端到端的半监督训练，优化目标是使节点分类的预测概率逼近其真实标签。
实验设计与数据集：为了全面验证SS-GNN的有效性，研究在六个真实世界图数据集上进行了广泛的实验，包括三个同质图数据集（Cora, Citeseer, Pubmed）和三个异质图数据集（DBLP, IMDB, ACM）。实验主要评估节点分类和节点聚类两个下游任务。 1. 节点分类：对于同质图，使用分类准确率作为评价指标，并随机划分60%/20%/20%作为训练/验证/测试集。对于异质图，使用Macro-F1和Micro-F1作为指标，并测试了训练集比例为20%、40%、60%、80%的多种划分。 2. 节点聚类：使用K-means算法对模型生成的节点嵌入进行聚类，并以调整兰德指数（ARI）和标准化互信息（NMI）作为评价指标。 3. 基线对比：研究对比了大量先进的基线模型，包括处理同质图的经典GNN（如GCN、GAT）和最新变体（如APPNP、H2GCN等），以及处理异质图的专门模型（如HAN、HGT、Simple-HGN、SR-HGN等）。
研究的主要结果
实验结果有力地支持了SS-GNN模型的有效性和优越性。 1. 同质图节点分类结果：在Cora、Citeseer和Pubmed三个数据集上，SS-GNN的分类准确率均显著超越了所有对比的基线模型，分别相对于当时最优的基线取得了2.61%、5.15%和3.43%的性能提升。即使在特征信息有限、噪声较大的Citeseer数据集上，SS-GNN仍能取得最高准确率，证明了其鲁棒性。 2. 异质图节点分类结果：在DBLP、IMDB和ACM数据集上，SS-GNN在Macro-F1和Micro-F1指标上全面领先。特别是在IMDB数据集上，相对于最优基线SR-HGN取得了平均13.15%的显著提升。一个有趣的发现是，在IMDB数据集上，当训练集比例较小时（如20%），模型性能最高但标准差较大；随着训练集比例增加，性能略有下降但标准差迅速减小。作者分析认为，这是因为模型学习的是同一类别节点的“代表性”特征。当训练样本较少且同质性高时，学到的特征代表性强但可能过拟合，导致性能方差大。当训练样本更多样化时，学到的特征更具普遍性，虽然“代表性”略有削弱，但稳定性大大增强。 3. 节点聚类结果：在DBLP和ACM数据集上的聚类实验表明，SS-GNN学习到的节点嵌入在ARI和NMI指标上同样优于所有基线。在ACM数据集上，相对于最优基线SR-HGN提升了超过6%。值得注意的是，像GCN和R-GCN这类模型在ACM数据集上表现平庸，可能受数据集中噪声标签影响，而SS-GNN凭借从同类别节点中学习代表性特征的能力，表现出了更强的鲁棒性。 4. 消融研究：研究通过移除子图嵌入模块（w.o. S.）或子超图嵌入模块（w.o. Sh.）进行了消融实验。结果显示，任何一个模块的缺失都会导致性能下降，而两个模块结合时效果最佳。特别地，子超图嵌入模块对性能的贡献更为显著，这验证了捕获高阶特征对于提升节点表示区分度的重要性。 5. 参数分析与可扩展性：实验分析了隐藏层特征维度、训练集划分比例等超参数的影响。随着隐藏特征维度的增加，模型性能总体呈上升趋势，而实验标准差呈下降趋势，表明模型能有效克服冗余噪声。此外，研究还在大规模图数据集Physics上进行了测试，SS-GNN在八种图Transformer架构对比中仍保持竞争力，验证了其可扩展性。 6. 时间成本：由于引入了子图/子超图构建和密集的注意力学习，SS-GNN每轮训练时间（例如在Cora上0.153秒）比GCN、GAT等基线（0.011-0.032秒）长约10倍。作者认为，考虑到其带来的显著性能提升，这一计算成本是合理且可接受的。
研究的结论与价值
本研究成功提出并验证了一个名为SS-GNN的通用图神经网络架构，该架构利用同类别节点构成的子图和子超图，实现了对同质图和异质图的统一节点嵌入学习。 1. 科学价值：本研究的主要贡献在于其通用性和新颖性。它是首个明确提出并验证可同时处理同质图和异质图节点嵌入的通用GNN架构。通过巧妙地构建和学习同类别节点的局部结构（子图）和高阶关联（子超图），模型能够自动捕捉图中对节点分类至关重要的结构性和语义性信息，而无需依赖人工设计的元路径或任何领域知识。这为图表示学习领域提供了一种新的、统一的范式，也为探索图基础模型的通用性提供了宝贵的启发和可行的技术路径。 2. 应用价值：SS-GNN的“开箱即用”特性使其能够更容易地应用于广泛的现实世界场景，无论是社交网络分析、学术推荐系统还是生物信息学中的蛋白质功能预测，只要数据可以被建模为图（同质或异质），SS-GNN都能提供一个强有力的基线或解决方案。其良好的实验性能也预示着在实际应用中的潜力。
研究的亮点
其他有价值的内容
研究还探讨了在异质图中处理多个关联矩阵的其他方法（如分别嵌入后拼接），并通过实验对比，验证了文中采用的“按元素相加”方法在节点分类任务中效果最佳。此外，论文对未来工作方向进行了展望，包括将SS-GNN从半监督学习扩展到自监督学习任务，以及尝试将其与大型语言模型（LLM）结合，以实现更具通用性的图嵌入表示，适应更广泛的下游任务。这些思考为进一步的研究指明了潜在路径。