《Information Fusion》期刊于2025年发表的一项研究学术报告

在2025年的《Information Fusion》期刊第119卷上，来自山东大学、曲阜师范大学、山东大学第二医院、齐鲁医院等多个机构的联合研究团队发表了一篇题为《DHHNN: A dynamic hypergraph hyperbolic neural network based on variational autoencoder for multimodal data integration and node classification》的学术论文。该研究的主要作者包括张玉梅（Zhangyu Mei）、毕潇（Xiao Bi）、李殿国（Dianguo Li）、夏雯（Wen Xia）、杨帆（Fan Yang）和吴昊（Hao Wu）。这项研究隶属于人工智能、机器学习和数据融合的交叉领域，特别是在图神经网络（Graph Neural Networks, GNNs）与几何表示学习的范畴内。

近年来，图卷积网络（GCNs）在处理社交网络、生物信息网络等图结构数据方面取得了巨大成功。然而，现实世界的数据关系常常超越了简单的两两连接（pairwise connections），呈现出复杂的多对多、高阶（higher-order）结构。同时，许多数据的内在层次性和无标度（scale-free）特性使得传统的欧几里得空间难以高效地表示和建模。另一方面，双曲空间（Hyperbolic Space）因其负曲率特性，被证明能够以更低的维度紧凑地表征具有层次或树状结构的数据，这使其在图神经网络中受到关注。然而，现有的双曲图神经网络模型大多基于静态图结构，难以适应动态变化的数据关系；此外，许多研究侧重于提升模型在训练过程中对潜在空间的建模能力，却忽视了在训练前对数据固有高阶特征的捕捉和保留。为了应对这些挑战，本研究旨在开发一个能够整合多模态数据、并动态捕捉数据高阶依赖关系的新型神经网络模型。其核心目标是结合双曲几何、动态超图（Dynamic Hypergraph）以及自注意力机制（Self-Attention Mechanism）的优势，以提升复杂网络数据表示学习的性能。

该研究提出的核心方法被命名为动态超图双曲神经网络（DHHNN）。其工作流程是一个精心设计的端到端学习框架，主要包含以下几个关键环节，并基于变分自编码器（Variational Autoencoder, VAE）的架构构建。

首先，是动态超图的初始化与重建。模型的输入是多模态数据，例如文本、表格、图像等。研究首先根据数据特征构建一个初始的超图（Hypergraph）。与普通图不同，超图允许一条超边（Hyperedge）连接多个节点（Hypernode），从而天然地能够表示高阶关系。初始超图通过计算节点间的余弦相似度，为每个节点寻找k个最相似的邻居来形成初始超边（即k-均匀超图）。这个过程为模型提供了数据的初步高阶结构表示。超图的数学结构通过关联矩阵（Incidence Matrix）和拉普拉斯矩阵（Laplacian Matrix）进行形式化定义。更重要的是，模型引入了“关键超边”的概念。在每一轮训练迭代后，模型会根据节点和超边的权重变化，动态地调整超图结构。具体策略包括：1）采用基于最小顶点覆盖的策略识别网络中的核心（关键）节点；2）通过k-means聚类和k近邻（k-Nearest Neighbors, KNN）算法，围绕关键节点和聚类中心重新构建超边关系，从而生成更新、更精炼的超图。这一动态重建机制使模型能够自适应地捕捉数据中演变的高阶依赖关系，而非依赖于一个固定的静态结构。此外，模型还设计了节点增删的高效管理机制，确保动态超图在处理流式数据时的结构完整性。

其次，是自注意力机制的融合。为了增强模型对节点和超边特征的表达能力，DHHNN在动态超图中集成了自注意力机制。该机制将节点原始特征作为值（Value），将超边特征作为查询（Query），将参与计算的节点特征作为键（Key）。通过计算查询与键之间的点积并经过Softmax归一化，得到注意力权重。这些权重随后用于对值矩阵（节点特征）进行加权求和，从而生成优化的超图表示。这个过程的核心优势在于“动态权重调整”：在每次前向传播中，模型都根据当前的节点和超边特征重新计算注意力权重，从而能够自适应地强调与当前任务最相关的特征，抑制噪声，并有效捕捉超图内的长程依赖关系。这使得信息流能够在节点和超边之间灵活调整，超边成为处理多模态数据中复杂依赖关系的关键通道。

第三，是双曲几何空间中的特征学习。DHHNN的核心创新之一是将上述动态超图结构置于双曲空间中进行表示和学习。研究选用了庞加莱球模型（Poincaré Ball Model）来表示双曲空间。由于双曲空间不具备欧几里得空间的向量空间结构，无法直接进行类似于GCN的邻域聚合操作。为此，模型设计了一套映射机制：首先通过对数映射（log map）将双曲空间中的节点嵌入到某个中心点的切空间（这是一个欧几里得空间）中；然后在切空间中进行特征的线性变换和邻域聚合（即图卷积操作）；最后再通过指数映射（exp map）将聚合后的结果映射回双曲空间。具体地，模型定义了双曲线性层（Hyperbolic Linear Layer, HypLinear），该层在双曲空间中通过默比乌斯标量乘法（Möbius scalar multiplication）实现了对节点特征的线性变换。接着，通过双曲邻域聚合层（Hyperbolic Aggregation Layer, HypAgg），模型将邻域节点的信息在中心节点的切空间中聚合后映射回双曲空间，从而捕获图的局部结构。之后，通过双曲非线性激活层（Hyperbolic Activation Layer, HypAct）引入非线性，增强模型的表达能力。尤为关键的是，模型采用了动态曲率机制，即双曲空间的曲率参数c在训练过程中不是固定的，而是可以根据数据特性进行自适应调整，这克服了传统固定曲率方法的局限性，使模型能够更灵活地适应不同结构的数据集。

整个模型架构以VAE为基础。编码器部分由上述的双曲线性层、聚合层和激活层构成，负责将输入的多模态超图数据编码为双曲空间中的低维潜在表示。解码器部分则通过双曲空间中的线性变换，并结合超图的邻接矩阵信息，尝试从潜在表示中重构出输入数据。最终的分类输出通过Softmax函数产生。在每一轮训练迭代中，动态超图模块会根据编码解码过程中学习到的信息更新节点和超边权重，重建超图结构；自注意力机制则同步优化特征表示。这个迭代过程持续进行，逐步提升模型的泛化能力和分类精度。研究选择了负对数似然损失作为VAE的主要损失函数，并采用了梯度裁剪、自适应学习率（Adam优化器）等技术来确保训练过程的稳定性，防止在动态调整超图结构和双曲曲率时出现梯度爆炸或消失问题。

为了全面验证DHHNN的有效性，研究团队在七个公开数据集上进行了系统的实验，这些数据集覆盖了不同的领域和任务类型，包括：Cora和PubMed（引文网络节点分类）、Disease（模拟疾病传播的树状网络）、Node2vec_PPI（蛋白质相互作用网络）、Airport（航班网络）、Diabet（糖尿病风险评估表格数据）以及Proteins（图分类任务）。

实验的首要部分是消融实验，旨在分析动态超图、双曲空间和自注意力机制这三个核心组件各自的作用。实验结果清晰地表明：1) 动态超图在捕捉高阶节点关系方面优势明显，在Disease和Airport等数据集上带来了显著性能提升，但其效果单独存在时不稳定。2) 双曲空间对于具有复杂层次结构的数据集（如Node2vec_PPI）尤为有效，其负曲率特性有助于建模远距离节点间的依赖关系。3) 自注意力机制通过动态调整权重，普遍提升了信息聚合的效率，在Airport等数据集上表现突出。然而，最重要的是，当这三个组件被共同集成到DHHNN中时，模型在所有数据集上都取得了最优或接近最优的分类准确率，证明了它们之间存在显著的协同效应。动态超图提供了高阶结构信息，双曲空间为表示复杂拓扑提供了几何基础，而自注意力机制则提升了信息选择的灵活性和效率，三者缺一不可。

其次，超参数分析显示DHHNN对学习率、Dropout率和超边构建参数k具有较好的鲁棒性，在常用范围内性能稳定。特别值得注意的是，在曲率设置上，“动态曲率”选项的性能优于任何固定的曲率值，这直接验证了动态曲率机制的有效性和必要性。

第三，在基准实验中，DHHNN与包括HHGNN（另一种双曲超图神经网络）、HGCN（双曲图卷积网络）、GAT（图注意力网络）、GCN（图卷积网络）和MLP（多层感知机）在内的五种先进或经典模型进行了对比。结果显示，DHHNN在全部六个用于节点分类的数据集上均取得了最佳的准确率。尤其是在Diabet数据集上，相比欧几里得空间的模型（GAT和GCN），DHHNN的准确率提升了超过15%。在复杂的Proteins图分类数据集上，DHHNN在准确率、F1分数、精确率和召回率等多个评估指标上全面领先，展示了其在处理具有复杂节点和边关系的图数据方面的强大能力。研究也坦承，由于动态超图重建和更新带来的计算开销，DHHNN的训练时间相比静态超图模型（如HHGNN）大约增加了一倍，但作者认为这是为了获得显著性能提升所付出的合理代价，并通过KNN控制超边数量、采用最小顶点覆盖策略剪枝冗余结构、使用截断奇异值分解进行降维等优化手段来平衡计算成本。

最后，可视化实验为DHHNN的优越性提供了直观证据。在Cora数据集上，通过主成分分析将学习到的节点嵌入降维至3D空间进行可视化。结果显示，DHHNN学习到的嵌入在空间中形成了边界清晰、类间分离度高的簇状结构。相比之下，HHGNN的嵌入存在一定重叠，HGCN的嵌入重叠更严重、聚类不够明显，而基于欧几里得空间的GCN的嵌入则分布较为分散，类间边界模糊。这有力地证明了DHHNN能够更有效地捕捉和表示复杂网络数据的内在结构和层次关系。

基于以上实验结果，本研究得出的核心结论是：所提出的基于变分自编码器的动态超图双曲神经网络（DHHNN）成功地将双曲几何、动态超图结构和自注意力机制深度融合，为具有层次结构和无标度特性的复杂多模态数据建模提供了一个高效且强大的框架。该模型在多个基准数据集上的节点分类和图分类任务中均取得了最先进的性能，显著提升了准确率、鲁棒性和泛化能力。

这项研究的价值体现在多个层面。在科学价值上，它推进了图表示学习的前沿：1）首次将动态超图与双曲空间进行系统性结合，为解决静态模型难以适应动态数据关系的问题提供了新思路；2）提出了动态曲率机制，使模型能够自适应数据的几何特性，突破了固定曲率的限制；3）创新性地在超图框架内集成了自注意力机制，增强了模型对长程依赖和复杂特征交互的建模能力。这些贡献深化了对如何利用非欧几何来表征复杂数据结构这一科学问题的理解。在应用价值上，DHHNN为处理现实世界中广泛存在的、具有复杂高阶关系和层次结构的数据（如社交网络、生物分子网络、交通网络、医疗健康数据等）提供了有力的新工具。其处理多模态数据的能力也使其在需要整合文本、图像、图表等多种信息源的实际场景中具有广阔的应用前景。

本研究的亮点十分突出：第一，方法上的高度集成与创新：不是对单一技术的改进，而是创造性地将变分自编码器、动态超图、双曲几何和自注意力机制这四个强有力的模块有机结合，构建了一个统一且协同的框架。第二，动态性贯穿始终：无论是超图结构、注意力权重还是双曲曲率，都体现了自适应和动态调整的核心思想，使模型具备了应对数据演化的能力。第三，实验验证全面且令人信服：通过覆盖多领域的七个数据集、系统的消融实验、详尽的基准对比以及直观的可视化分析，充分证明了模型的有效性和优越性。第四，对计算效率的考量：研究不仅追求性能，也关注了动态机制带来的计算成本，并提出了相应的优化策略，体现了工程实现的务实思考。

此外，论文还提供了数据与代码的公开获取链接，确保了研究的可复现性，并展望了未来的研究方向，包括优化大规模动态超图数据集的可扩展性、提升计算效率以及探索在医疗数据分析、社交网络挖掘等实际领域中的应用，这些都进一步提升了这项工作的长期价值。