这篇文档属于类型a，即报告了一项原创性研究。以下是针对该研究的学术报告：

一、作者与发表信息

本研究由Zhengdao Li（广州大学、香港中文大学深圳）、Yong Cao（华中科技大学）、Kefan Shuai、Yiming Miao（通讯作者）和Kai Hwang（香港中文大学深圳）合作完成，发表于IJCAI-24（第三十三届国际人工智能联合会议）。

二、学术背景

研究领域与动机

研究聚焦于图神经网络（Graph Neural Networks, GNNS）的评估基准问题。当前，图分类基准数据集（如OGB、TUDataset）被广泛用于衡量GNN模型的性能，但近期研究发现，简单方法（如多层感知机MLPs）在某些任务中表现与GNNs相当，甚至更优。这引发了一个核心问题：现有基准数据集是否能有效区分GNNs与其他方法的性能差异？

研究目标

1. 评估现有基准数据集的有效性：探究数据集是否具备区分GNNs与基线方法的能力。
   
2. 提出量化指标：设计一种新指标（effectiveness metric）以衡量数据集对模型性能的区分度。
   
3. 探索低效数据集的成因：分析图属性与标签的关联性，并提出可控合成数据生成方法。
   

三、研究流程与方法

1. 实证协议设计

目标：公平比较GNNs与基线方法的性能差异。
- 输入信息解耦：将性能差异分解为结构差异（δs）和属性差异（δa）：
- δs：仅输入结构信息（如节点度）时，GNNs与基线方法的准确率差异。
- δa：输入真实节点/边属性时，GNNs与基线方法的准确率差异。
- 基线方法选择：
- 结构主导基线：浅层MLPs（输入为平均图度数）。
- 属性主导基线：分子指纹（MoleculeFingerprint）或MLPs结合池化层。
- GNN模型选择：涵盖空间方法（如GIN）、谱方法（如GCN）和图核方法（如WL-GK）。

2. 数据集收集与实验

数据集：16个真实世界数据集，覆盖生物化学（如HIV、PPA）、社会科学（如IMDB-B）、计算机视觉（如MNIST图化数据）等领域（见表1）。
- 实验框架：基于[Errica et al., 2020]的基准框架改进，支持多源数据集加载（如PyG、OGB）和自定义特征输入。
- 评估方案：10折交叉验证，采用分类准确率或AUC-ROC指标。

3. 有效性指标（Effectiveness Metric）设计

定义：
[ e(d) = \sum{type\in{s,a}} \frac{|\delta{type}(d)|}{r^(|y|-1)} \cdot \frac{1-r^}{1-|y|^{-1}} ]
- r*：基线或GNNs的最低准确率。
- |y|：类别数。
特性：
1. 归一化性能差异，消除类别数影响。
2. 引入复杂度因子（λ），反映数据集难度。

4. 低效数据集成因分析

• 图属性与标签相关性：分析节点数、平均度数、环结构等属性与标签的皮尔逊相关系数（图4）。
  
• 合成数据生成：基于定理1（Cholesky分解），生成属性与标签相关性可控的合成数据集（如syn-degree、syn-cc）。
  

四、主要结果

1. 性能差异分析（表2、图1）

• 观察1：部分数据集（如MNIST、PPA）在δs或δa中表现显著差异，表明其依赖特定信息类型。
  
• 观察2：社交数据集（如IMDB-B）性能差异微弱，暗示其标签与图结构关联性低。
  
• 观察3：化学数据集（如BACE）需同时利用结构和属性信息，GNNs优势明显。
  

2. 有效性指标验证（图3）

• 一致性：e(d)与性能差异排序高度相关（Spearman系数>0.8）。
  
• 多指标鲁棒性：AUC-ROC与准确率计算的e(d)结果一致。
  

3. 合成数据集实验（图6）

• 相关性控制：通过调节属性与标签的相关系数（r），验证了GNN性能随r提升而线性增长。
  

五、结论与价值

科学价值

1. 首个量化基准数据集有效性的研究：提出e(d)指标，为GNN评估提供标准化工具。
   
2. 揭示数据集缺陷：约半数现有数据集无法有效区分GNNs与基线方法。
   
3. 方法论创新：可控合成数据生成技术，支持定制化基准设计。
   

应用价值

• 指导基准选择：帮助研究者筛选高区分度的数据集。
  
• 推动GNN发展：通过优化数据集设计，促进模型性能提升。
  

六、研究亮点

1. 创新性指标：首次定义并验证了数据集有效性的量化标准。
   
2. 多维度分析：结合真实数据与合成实验，全面解析性能差异成因。
   
3. 开源框架：改进的基准框架支持灵活的数据加载与特征组合（GitHub公开）。
   

七、其他贡献

• 回归预测模型：基于图属性预测e(d)，减少基准实验的计算成本（表3）。
  
• 跨领域验证：覆盖生物、化学、社交、CV等多领域数据，结论普适性强。
  

此研究为图学习领域的基准评估提供了重要方法论，并为未来数据集的优化指明了方向。