学术背景 在人工智能领域，多模态表示学习（Multi-modal Representation Learning, MMRL）是一种强大的范式，旨在将来自不同模态的输入映射到一个共享的表示空间中。例如，在社交网络中，用户通常会同时分享图像和文本信息。通过多模态表示学习，模型可以更好地理解文本中的某些词汇或概念与图像中的视觉模式之间的关系。这种范式在医疗保健、情感识别等多个领域得到了广泛应用，因为数据通常以多种形式存在，而多模态信息的融合可以增强系统的整体理解和决策能力。 然而，现有的多模态表示学习方法面临两个主要挑战：高阶信息保留和样本外数据泛化。首先，现有的方法主要考虑成对的标准图结构，忽略了高阶关系可能带来的潜在洞察。其次，大多数现有的图基于多模态表示学习框架假设在推理阶段已经收集了完整...

AutoAlign：由大规模语言模型驱动的全自动、高效知识图谱对齐方法 知识图谱（Knowledge Graph，简称KG）已经被广泛应用于问答系统、对话系统和推荐系统等多个领域。然而，不同的知识图谱中可能存在同一现实实体以不同形式存储的问题，这导致知识共同体和信息互补非常困难，尤其在实际应用中，这些知识图谱的合并是一项核心任务。这涉及实体对齐（Entity Alignment），即识别不同知识图谱中代表相同实体的实体对。然而，现有方法通常需要手工制作的种子对齐（Seed Alignments），其获取成本高、可移植性差，并且人工干预可能引入偏差，影响对齐效果。 为了应对上述挑战，来自Tsinghua University、University of Melbourne、Universita...

传统的表征学习方法通常是设计固定的基函数架构,以达到正交性、稀疏性等期望的性质。而深度强化学习的理念则是,设计者不应编码表征的性质,而是让数据流决定表征的性质,使良好的表征在适当的训练方案下自发涌现。 这项研究探讨了通过深度强化学习系统学习的表征(representation)的性质。此研究将这两种观点结合,通过实证分析,探讨了在强化学习中能够促进迁移的表征所具有的性质。作者提出并测量了六种表征性质,在25000多个代理任务设置中进行了研究。他们使用了带有不同辅助损失的深度Q学习代理,在基于像素的导航环境中进行实验,其中源任务和迁移任务对应于不同的目标位置。 研究人员开发了一种方法,通过系统地变化任务相似性并测量与迁移性能相关的表征性质,从而更好地理解为什么某些表征更适合迁移。他们还证明了该...

随着图结构数据在诸多领域的广泛应用,图神经网络(GNN)作为分析图数据的有力工具备受关注。然而,现有GNN在学习节点表示时,主要依赖于邻居节点的相似性信息,忽视了节点间差异性的潜力。近期,一项新颖的”极化消息传递”(Polarized message-passing, PMP)范式应运而生,为GNN设计注入了全新理念。 研究背景:传统GNN通过聚合邻居节点的特征来学习目标节点的表示,但仅考虑了节点间的相似性,未能充分利用节点差异性所蕴含的丰富信息。实际上,现实世界的图数据中普遍存在”友谊悖论”、”影响不平衡”等现象,反映出图中节点的独特性质。有鉴于此,本研究提出PMP范式,旨在同时捕获节点间相似性和差异性的双重信息,借此提升GNN的表示学习能力。 研究机构:本项研究由来自新加坡科技研究局、香...