CACL：一种面向社交媒体机器人检测的社区感知异质图对比学习框架
一、 研究作者、机构及发表信息
本研究由陈思瑞（Sirry Chen）、冯硕（Shuo Feng）、梁淞淞（Songsong Liang）、宗晨晨（Chen-Chen Zong）、李晶（Jing Li）和李丕基（Piji Li）共同完成。其中，主要作者来自南京航空航天大学（Nanjing University of Aeronautics and Astronautics），李晶来自香港理工大学（The Hong Kong Polytechnic University）。该研究以论文形式发表，收录于计算语言学领域顶级会议“Findings of the Association for Computational Linguistics: ACL 2024”的会议论文集，于2024年8月11日至16日期间出版，论文页码为10349-10360。
二、 学术背景与研究动机
本研究的核心科学领域是社交媒体上的恶意机器人（Bot）检测，属于社交网络分析、图机器学习与信息安全的交叉领域。随着社交媒体平台的普及，自动化的机器人账户被广泛用于传播虚假信息、干扰选举、煽动极端主义等恶意活动，对社会秩序和网络环境构成严重威胁。因此，高效、准确地检测社交媒体机器人具有重要的现实意义。
现有的机器人检测方法主要分为基于特征工程的方法和基于图神经网络（Graph Neural Networks, GNNs）的方法。近年来，由于特征工程方法泛化能力不足，基于GNN的方法成为主流。这些方法将社交网络构建成图（用户为节点，互动关系为边），利用GNNs学习节点（用户）的表示以进行分类。尽管基于异质图（Heterogeneous Graph，包含多种节点和边类型）的模型能够更好地建模用户间多样化的关系（如关注、转发、评论），但现有研究大多聚焦于设计更复杂的GNN架构以提升性能，而忽视了社交网络固有的社区结构特性。
社交网络天然地形成社区（Community），即社区内部用户连接紧密，社区之间连接稀疏。例如，对某个政治话题感兴趣的用户会频繁互动，形成一个社区。在该社区内，为了影响舆论，机器人会与人类用户互动并分享观点，导致它们与同社区内的人类用户具有相似的特征；而来自其他社区的机器人则与该社区的人类用户差异较大。这种特性使得跨社区的机器人相对容易区分，但同时也带来了挑战：由于GNNs固有的过度平滑（Over-smoothing）问题，同一社区内的节点（无论人类还是机器人）会获得高度相似的表示，而不同社区的节点则表示差异较大。这导致同一社区内的异类节点（即人类与机器人，称为“困难负样本”）在特征空间距离很近，而不同社区的同类节点（即同为人类或同为机器人，称为“困难正样本”）距离很远，给精确分类带来了困难。
此外，现有GNN方法还面临因数据集规模相对较小导致的模型泛化能力差，以及信息传播机制引发的过度平滑等问题。
基于以上背景，本研究旨在解决两个核心问题：1）如何有效利用社交网络的社区结构信息来辅助机器人检测；2）如何克服由社区结构引入的“困难样本”问题以及GNNs的固有缺陷。为此，研究团队提出了一个名为CACL（Community-Aware Heterogeneous Graph Contrastive Learning） 的框架，其目标是通过动态挖掘社区结构中的困难样本，并利用有监督的图对比学习来处理这些样本，从而提升机器人检测模型的性能、鲁棒性和泛化能力。
三、 研究方法与详细工作流程
CACL框架是一个社区感知的异质图对比学习框架，其核心思想是在图级别（社区层面）和节点级别（用户层面）协同工作。整个工作流程可以概括为以下几个关键步骤：
1. 问题定义与图构建 首先，将社交网络建模为一个异质图 G = {V, E, A, R}。其中，V代表节点集合（包括用户节点和文本/推文节点），E代表边集合（代表用户间或用户与文本间的各种关系），A和R分别代表节点类型和边类型的集合。机器人检测的任务是学习节点的表示分布，从而将用户节点分类为“机器人”或“人类”。
2. 社区感知模块（Community-Aware Module） 此模块的目标是从异质图中动态地挖掘社区结构，并基于此识别困难样本（困难正样本和困难负样本）。 * 用户图提取与编码：首先从完整的异质图G中提取出只包含用户节点及其之间关系的用户子图Gu。对用户的初始特征（如元数据、描述、推文等）进行预处理：数值特征进行Z-score标准化，文本特征使用RoBERTa模型编码。然后，使用一个多层图卷积网络（GCN）作为编码器，聚合邻居信息，得到每个用户的表征向量。 * 动态社区检测与困难样本挖掘：基于GCN学习到的用户表征，计算用户节点间的余弦相似度，并将其作为对应边的权重。然后，按照权重降序遍历边，将相连的节点聚类到同一社区，并合并重叠的社区，直到社区数量达到预设值K（K由仅基于图结构的Louvain算法确定，以符合社区的传统定义）。最终，用户图被划分为K个子图，每个子图代表一个社区。基于此划分，定义困难样本：同一社区内不同类别的节点（即一个人类和一个机器人）为“困难负样本”；不同社区中相同类别的节点（如两个不同社区的人类）为“困难正样本”。 * 模块训练：社区感知模块通过一个结合了图自编码器重建损失和模块化社区感知损失的函数进行无监督预训练，以确保其既能有效检测社区，又能保持良好的链接预测能力，为后续的图增强做准备。
3. 图增强（Graph Augmentation） 为了提升对比学习的效果并增强模型鲁棒性，研究团队对从社区感知模块得到的每个用户社区子图（还原为原始异质图结构）应用了三种自适应的数据增强方法，生成增强视图： * 节点特征偏移（Node Feature Shifting）：根据特征重要性（使用PageRank算法计算）自适应地掩码（Mask）掉节点特征中较不重要的维度，保留关键特征，引入扰动。 * 链接预测（Link Prediction）：利用预训练好的社区感知模块中的解码器，预测节点间潜在的边并进行添加，以平衡节点的入度和出度，增强模型对关系结构变化的鲁棒性。 * 同义词替换（Synonymy Substitution）：对于社交网络中的文本信息（如推文），使用在Twitter语料上预训练的WordNet，将词汇替换为其同义词，在不改变基本语义的前提下增强文本多样性。 这些增强方法分别针对图的拓扑结构、文本信息和用户属性，能够生成高质量、多样化的对比视图。
4. 图卷积网络与表征学习 对于每个原始子图及其增强后的子图，使用一个共享的异质图神经网络（如GAT、SAGE或HGT）作为骨干编码器，来学习节点的最终表征。这些编码器能够处理异质图中不同类型的节点和边，有效地聚合多跳邻居信息。
5. 社区感知对比学习（Community-Aware Contrastive Learning） 这是框架的核心创新点。传统的对比学习要么是无监督的（仅拉近同一节点在不同视图下的表示），要么是强监督的（拉近所有同类节点、推远所有异类节点）。CACL提出了一个改进的有监督对比损失函数，专门针对社区结构挖掘出的困难样本进行优化。 * 匹配子图选择：从一个包含所有社区子图的“子图池”中，为当前子图寻找一个“匹配子图”。匹配原则是选择与当前子图平均嵌入向量余弦相似度最低的子图，这样来自匹配子图中的正样本对于当前子图来说就是“足够困难”的。 * 对比损失计算：对于当前子图中的目标节点，其对比损失鼓励：a) 拉近该节点在其原始视图和增强视图中的表示（自监督）；b) 拉近该节点与其匹配子图中同类节点（困难正样本）的表示；c) 推远该节点与其自身所在子图中异类节点（困难负样本）的表示。公式上，通过一个投影头将GNN编码得到的表征映射到对比学习空间，然后计算上述三部分的相似度，并组合成最终的对比损失L_contrast。 * 联合训练：最终的模型损失是分类任务的交叉熵损失与对比损失L_contrast的加权和。通过这种联合训练，模型参数、社区划分和困难样本挖掘过程得以动态、协同地更新。模型在训练过程中不断调整社区划分，挖掘新的困难样本，并学习将这些困难正样本拉近、困难负样本推远，从而在特征空间形成更清晰的决策边界。
四、 主要实验结果与分析
研究团队在三个广泛使用的社交媒体机器人检测基准数据集上进行了大量实验：Cresci-15、Twibot-20和Twibot-22。他们选取了GAT、SAGE和HGT三种GNN模型作为CACL框架的骨干网络，并与包括BotRGCN、RGT、SimpleHGN、RoBERTa在内的多个先进基线模型进行了比较。
1. 主实验结果（表1） 实验结果表明： * 与原始GNN模型相比，CACL框架显著提升了所有三种骨干网络（GAT、SAGE、HGT）在所有三个数据集上的检测性能（准确率、F1分数、马修斯相关系数MCC）。例如，在Cresci-15数据集上，SAGE模型结合CACL后，准确率从93.92%提升至97.65%，F1从95.26%提升至98.12%，MCC从87.48%大幅提升至95.10%。 * 搭载了CACL的模型（如CACL+HGT）在多个指标上超越了当时的先进方法（State-of-the-art），证明了该框架的有效性和优越性。
2. 对比学习策略研究（表2） 为了验证所提出的社区感知对比损失函数的有效性，作者将其与无监督对比损失和传统的有监督对比损失进行了比较。结果显示： * 社区感知对比损失（动态）性能最佳，显著优于无监督和传统有监督对比损失。 * 当冻结社区感知模块（使其变为静态，无法在训练中动态更新社区和样本）时，性能提升大幅下降。这关键地证明了动态、协同地更新社区划分和困难样本挖掘对于模型性能至关重要。
3. 社区感知模块分析（图3，图4） * 社区纯度分析：通过计算每个社区内类别的信息熵来衡量社区的不纯度。实验发现，使用动态社区感知模块时，社区的平均熵随着训练进行持续下降，说明模块能够动态地将相同标签的节点聚类到同一社区，即社区内部的类别越来越“纯”。而静态模块则无法做到这一点。 * 相似度趋势分析：可视化展示了在训练过程中，困难正样本之间的余弦相似度持续上升，困难负样本之间的相似度持续下降。同时，社区内部节点间的平均相似度以及社区之间节点间的平均相似度都在下降。这直观地证明了：1) 对比学习成功地将困难正样本拉近、困难负样本推远；2) 社区感知模块能够动态地捕获社交网络中的社区结构，并且这种结构有助于识别和处理困难样本。
4. 消融实验（表3） 通过系统地移除框架中的各个组件，评估了它们的重要性： * 图增强方法：移除链接预测（LP）导致的性能下降最明显，说明发现潜在社交关系对检测至关重要。移除同义词替换（SS）和节点特征偏移（FS）也会导致性能下降，证明了多角度增强的有效性。 * 信息模态：分别移除用户元数据（Metadata）、文本信息（Text）或图的异质性（Heterogeneity）都会导致性能下降，表明综合利用所有类型的信息对于机器人检测是必要的。 * 社区感知模块：移除整个社区感知模块（CA，即直接在整个图上进行GNN和对比学习）会导致性能显著下降，直接证明了引入社区结构进行困难样本挖掘的核心贡献。
五、 研究结论与价值
本研究提出并验证了CACL框架，这是一个创新性的、社区感知的异质图对比学习框架，用于社交媒体机器人检测。该框架的核心贡献在于： 1. 科学价值：首次系统地将社交网络的社区结构特性与图对比学习相结合，用于解决机器人检测中的“困难样本”问题。它提供了一种新的视角，即不是简单地将所有同类/异类节点同等对待，而是通过社区结构识别出对模型最具挑战性的样本对进行针对性优化。 2. 方法创新：设计了动态的社区感知模块，能够与下游的对比学习任务协同训练，实现社区划分和样本挖掘的自适应更新。提出了针对困难正/负样本的改进对比损失函数，并集成了多种自适应的图数据增强策略。 3. 应用价值：实验证明，CACL作为一个通用框架，能够显著提升多种主流GNN骨干网络在多个公开基准数据集上的检测性能，具有很好的通用性和鲁棒性。这为构建更准确、更可靠的社交媒体机器人检测系统提供了有力的工具。
六、 研究亮点
七、 其他有价值内容
论文在最后讨论了本工作的局限性，例如现有数据集的收集和标注可能存在的偏差会影响方法评估；由于框架是动态更新的，社区结构也在动态变化，难以在现实世界中固定社区并观察其变化过程来直观证明框架的有效性。此外，作者也提到了大语言模型（LLM）在理解图信息方面的潜力，指出未来可以探索如何将LLM技术与GNN结合以更好地提取用户信息，但本文主要聚焦于提升GNN模型的性能，未在此方向深入。最后，论文包含了符合学术规范的伦理声明和致谢部分。