分享自:

基于关系Transformer和知识蒸馏增强的图推理方法用于药物副作用预测

期刊:iScienceDOI:10.1016/j.isci.2024.109571

本研究由Honglei Bai,Siyuan Lu,Tiangang Zhang,Hui Cui,Toshiya Nakaguchi及Ping Xuan(通讯作者)共同完成。作者团队来自中国黑龙江大学计算机科学与技术学院、数学科学学院,澳大利亚拉筹伯大学计算机科学与信息技术系,日本千叶大学前沿医学工程中心以及中国汕头大学计算机科学与技术系。该研究以论文形式发表于2024年6月21日的《iScience》期刊(第27卷,文章编号109571)。

这是一项关于药物副作用预测的原创性计算生物学研究。其核心科学领域是生物信息学和计算药物发现。药物在临床试验阶段因不良反应而失败的风险很高,这不仅对参与者构成健康威胁,也给制药业带来巨大的经济损失。因此,在药物开发早期,通过计算方法预测药物潜在的副作用关联,有助于生物学家进行后续实验验证,从而降低研发成本和风险。以往的研究方法主要包括基于分子对接的模拟、传统的机器学习模型(如矩阵分解、随机游走、多核学习等)以及近年来兴起的深度学习模型(如图神经网络、图卷积网络等)。然而,这些方法存在一些局限性:基于对接的方法依赖于不完整的蛋白质结构信息;传统方法多停留在整合药物与副作用之间的浅层连接数据,未能充分揭示节点间复杂的关联;而现有的深度学习方法,包括传统的Transformer模型,往往忽视了异质网络中元路径内多样的连接关系语义、元路径内部的局部知识以及不同元路径之间的全局知识。为了解决这些问题,本研究团队提出了一个名为RKDSP的图推理方法,旨在融合多连接关系的语义、元路径内的局部知识、元路径间的全局知识以及药物-副作用节点对的属性信息,以期更精准地预测药物相关的副作用。

本研究的工作流程清晰,主要包含以下几个关键步骤:

第一步:构建药物-副作用双视角异质图。 研究认为,整合药物基于化学亚结构的相似性和基于关联疾病的相似性对于副作用预测至关重要,而以往方法常忽视后者。因此,研究首先整合了多源数据:从SIDER数据库获取了708种药物与4,192种副作用之间的80,164个已知关联;从比较毒理学数据库获取了药物与疾病之间的关联;并计算了基于化学亚结构的药物相似性矩阵、基于关联疾病的药物修正相似性矩阵以及副作用相似性矩阵。基于此,研究者不是构建单一的图,而是别出心裁地利用两种不同的药物相似性,分别构建了两个具有特定拓扑结构的药物-副作用异质图。一个图基于药物的化学亚结构相似性构建,另一个图则基于药物的关联疾病相似性构建。每个异质图都包含药物节点、副作用节点,以及它们之间的相似性连接和已知关联连接。通过构建双视角图,模型能够从不同角度捕获药物与副作用网络的拓扑信息。

第二步:基于元路径提取语义子图并利用关系Transformer学习节点表征。 在构建的异质图上,研究者定义了多种元路径(例如:药物-药物、药物-副作用-药物等)。每一条元路径都蕴含了特定的语义信息。为了从这些元路径中学习更丰富的语义,研究没有采用简单的邻居聚合方法,而是创新性地提出了一个关系Transformer模块。该模块针对每个元路径生成的语义子图进行操作。具体而言,对于每个子图,模型通过多头注意力机制计算节点间的注意力权重,特别之处在于,这里的注意力机制融入了节点间的关系信息,从而能够增强对连接关系语义的理解。然后,通过一个门控机制来平滑表征学习过程,最终得到每个元路径视角下的药物和副作用节点特征表示。这个过程使模型能够从多样化的元路径语义视角中学习节点特征。

第三步:通过知识蒸馏策略更新节点表征,以捕获局部与全局知识。 研究者指出,同一元路径内的节点具有紧密的局部连接关系,而不同元路径之间的节点则蕴含着深刻的全局关系。为了充分利用这种局部和全局知识,他们设计了一个新颖的知识蒸馏模块。该模块包含两部分:元路径内知识蒸馏元路径间知识蒸馏。元路径内知识蒸馏旨在从单个元路径中提取局部知识,通过计算目标节点与其邻居的拓扑表示以及整个元路径的表示,并最大化它们与节点嵌入之间的互信息来实现。元路径间知识蒸馏则旨在提取不同元路径间的全局知识,通过让一个元路径下的节点嵌入去匹配其他元路径的邻居拓扑和路径表示来实现。这两种蒸馏策略共同作用,迫使节点表征不仅包含自身元路径的结构信息,还融入了更广泛的局部和全局上下文知识。最后,考虑到不同元路径对预测的贡献度不同,研究者还引入了元路径级注意力机制,为信息量更大的元路径语义分配更高的权重,从而自适应地融合来自各条元路径的语义表示,得到最终的药物和副作用节点融合表征。

第四步:基于自适应卷积神经网络编码药物-副作用节点对属性。 除了网络拓扑结构,药物与副作用节点对本身的属性(如药物对所有药物的相似性、副作用对所有药物的关联性等)也至关重要。传统卷积神经网络使用标准卷积核处理特征图,忽略了特征图中不同位置的重要性差异。为此,研究者构建了一个基于自适应卷积核的CNN模块。首先,他们将一对药物和副作用节点的多种属性信息(基于两种不同相似性视角)嵌入成特征矩阵。然后,该模块会先学习一个与特征图局部内容相关的权重矩阵,用这个权重矩阵去缩放每个卷积核。这样,卷积核就变得“自适应”——在处理特征图中更重要的区域时,卷积核的权重会相应调整,从而增强了模型学习每个药物-副作用节点对局部重要特征的能力。通过这一策略,模型获得了对节点对属性自适应增强后的编码表示。

第五步:最终融合与优化预测。 将第三步得到的双视角节点融合表征与第四步得到的自适应增强节点对属性编码进行拼接和扁平化,形成最终的组合表征。随后,通过一个全连接层和softmax函数,计算每一对药物和副作用节点之间存在关联的概率得分。模型的损失函数由三部分组成:预测得分与真实标签之间的交叉熵损失、元路径内知识蒸馏损失以及元路径间知识蒸馏损失。整个模型使用Adam优化器在PyTorch框架下进行训练。

本研究的主要结果体现在多个方面。首先,通过详尽的消融实验证明了模型各个组件的有效性。实验结果显示,移除元路径语义学习、元路径内知识蒸馏、元路径间知识蒸馏、元路径级注意力或自适应卷积编码中的任何一个,模型的性能(以AUC和AUPR衡量)都会出现显著下降(例如,移除自适应卷积编码导致AUC下降5.9%,AUPR下降6.8%)。这充分证实了每个创新模块对提升预测性能的必要性。特别是,基于化学亚结构的药物相似性对性能提升贡献最大,而基于关联疾病的相似性也起到了重要作用,验证了构建双视角图的合理性。

其次,为了评估所提出的关系Transformer策略的优越性,研究者将其与其他几种Transformer变体进行了比较。实验结果表明,使用本研究设计的关系Transformer的模型(RKDSP)在AUC和AUPR上均优于使用其他Transformer策略的对比模型实例,这表明了考虑元路径内多样连接关系语义的Transformer设计更具优势。

第三,也是最重要的,与现有先进方法的比较。研究将RKDSP与十种先进的预测方法进行了全面的5折交叉验证对比,这些方法涵盖了矩阵分解、随机游走、图表示学习、几何自表达模型、多种深度学习模型等。在包含所有708种药物的整体测试中,RKDSP取得了最佳的预测性能:平均AUC达到0.970,平均AUPR达到0.353。其AUC值比其他对比方法高出1.3%至7.8%不等,AUPR值则高出8.1%至25.4%不等。此外,在评估模型筛选高潜力候选副作用能力的“前K召回率”和“前K精确率/F1分数”指标上,RKDSP在不同K值下(如K=30, 90, 120)均名列第一。这些结果强有力地证明,通过深度整合多语义元路径信息、并利用知识蒸馏捕获局部与全局知识,能够显著提升药物副作用关联预测的准确性。

第四,新药预测实验和案例分析进一步验证了模型的实用性。在模拟新药(移除所有已知副作用关联)的预测场景下,RKDSP依然保持了最佳性能。研究者还选取了氯雷他定、布洛芬、奥司他韦、厄洛替尼和齐拉西酮五种药物进行案例分析,列出了模型预测的排名前15的候选副作用。通过查询MetaADEDB、DrugCentral和RxList等权威临床数据库以及已发表文献,证实了大部分候选副作用是真实存在的。例如,氯雷他定的预测副作用中,“恶心”、“头晕”、“低血压”等均被数据库记录。这一案例研究直观展示了RKDSP在辅助生物学家发现药物潜在副作用方面的实际能力。

本研究的结论是,研究者成功提出并验证了一种名为RKDSP的新型图推理方法,用于预测药物相关副作用。该方法通过构建双视角异质图、利用关系Transformer增强元路径语义、设计知识蒸馏策略捕获局部与全局知识、以及应用自适应卷积神经网络编码节点对属性,实现了对药物-副作用关联的全面而深入的学习。广泛的实验结果表明,RKDSP在预测性能上显著优于现有的先进方法,并且具备实际应用潜力,能够为药物安全性的早期评估提供有价值的计算工具。

本研究的亮点主要体现在以下几个方面:1. 方法论创新:首次将关系Transformer与知识蒸馏策略结合用于药物副作用预测领域,创造性地提出了元路径内和元路径间知识蒸馏,以充分挖掘异质图中的局部和全局知识。2. 模型架构的综合性:构建了包含双视角图、语义学习、知识蒸馏、自适应编码的完整且精细的框架,系统地解决了现有方法的多个局限性。3. 性能卓越:在多个评估指标上全面超越了广泛的对比方法,证明了其有效性和优越性。4. 实用性强:通过新药预测场景和真实药物案例,展示了模型在真实世界应用中的潜力,为计算药物安全学研究提供了新的有力工具。

研究的局限性在于,未来可以整合更多来源和模态的数据(如长链非编码RNA信息、疾病语义相似性等),以更全面、多维度地理解和预测生物医学关联。总体而言,这项研究为药物副作用预测领域贡献了一个高性能、可解释性强且具有创新性的计算模型,对加速药物研发进程、保障用药安全具有重要的科学价值和应用前景。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com