DeepRNA-Twist：基于语言模型引导的RNA扭转角预测与注意力-初始网络

人工智能 信息科学 生物工程 生物物理学 生物化学 生命科学 计算机科学
RNA语言模型 扭转角和伪扭转角 初始网络 深度学习 RNA结构预测 生物信息学 长程依赖

一、学术背景及研究动机

随着生命科学与生物信息学的飞速发展，RNA分子结构及其功能研究成为热点领域。RNA不仅仅是基因信息的传递者，更在调控、催化等多种生理过程中扮演关键角色。RNA分子的三维结构直接影响其生物学功能，而RNA结构的精确解析对于基础科学、药物设计、疾病机制研究等均具有重要意义。然而，RNA的序列到结构转换远比蛋白质复杂，不仅因为RNA的骨架有七个主链扭转角（α, β, γ, δ, ε, ζ, χ），而且还涉及复杂的伪扭转角（η, θ），加之非经典碱基对、多重环、三元作用等多样结构因素，使得高精度RNA三维结构预测极具挑战性。

传统的实验测定RNA结构方法如核磁共振（NMR）、X射线晶体学（X-ray crystallography）、冷冻电镜（cryo-EM）手段，不但昂贵且周期长；而早期的计算方法，不论基于物理的还是统计的，均难以充分捕捉RNA序列与结构间的高度复杂且长距离的依赖关系。近年来，深度学习（Deep Learning）带动生命科学变革，蛋白质二三级结构预测取得突破。受此启发，RNA结构预测领域也在尝试引入更强大的机器学习方法，但目前相关成果仍有限。

在扭转角预测方面，主流方法如spot-rna-1d已采用膨胀卷积神经网络（Dilated Convolutional Neural Network，Dilated CNN）来从一次序列输入预测主链及伪扭转角。此外，最近的rna-torsionbert方法首次利用语言模型（Language Model）嵌入（embedding）预测RNA扭转角，并提出基于扭转角的结构质量评估函数rna torsion-a，但整体预测准确率仍有提升空间，尤其在复杂、变异性大的扭转角上。

基于此挑战与需求，作者团队设计了deeprna-twist这一结合RNA语言模型、新型网络模块attention-inception inside inception with dilated cnn（2a3idc）与多头自注意力（multi-head attention）的深度学习框架，力求直接从序列高效、准确地预测RNA扭转及伪扭转角，实现RNA三维结构解析领域的新突破。

二、论文出处及作者信息

本文“deeprna-twist: language-model-guided rna torsion angle prediction with attention-inception network”由Abrar Rahman Abir、Md Toki Tahmid、Rafiqul Islam Rayan、M Saifur Rahman等人完成，所有作者均隶属于Bangladesh University of Engineering and Technology（孟加拉国工程与技术大学）计算机科学与工程系（Department of Computer Science and Engineering）。论文发表于2025年3月23日，由Oxford University Press出版，并刊登于Briefings in Bioinformatics（《生物信息学简报》）2025年第26卷第3期。本文为开放获取（open access）文章，深度影响着RNA结构生信分析领域的发展。

三、研究工作流程详细解读

1. 数据集准备与特征表达

数据集准备

研究采用spot-rna-1d提供的高质量RNA结构数据作为训练和测试集。为进一步验证模型的通用性和鲁棒性，作者还用rna-torsionbert所用的测试集合，该集合综合自RNA puzzles和CASP-RNA两大权威数据集。训练集含286条RNA链（21736个核苷酸），测试集包括rnapuzzles（40个结构）、casp-rna（12个结构）等多组数据，总计测试集覆盖15445个核苷酸，最大RNA长度达720个碱基。数据集的结构和长度多样性，为深度学习模型充分学习丰富的结构特征提供了基础。

特征表达

本研究创新性地采用了RNA自监督语言模型RINalmo（650M参数）生成的嵌入作为输入特征。这些嵌入向量（1280维）可高效捕捉RNA序列的上下文语义与结构相关性，大大丰富了单一序列向量的表征能力。通过这种方式，模型能够学习到长期依赖和深层结构信号，显著优于传统的one-hot编码（独热编码）特征。

2. deeprna-twist深度学习框架设计

deeprna-twist架构由三大创新模块组成：

（1）Transformer Encoder层

首先对每个核苷酸的RINalmo嵌入特征序列进行Transformer Encoder（编码器）处理。该模块引入多头自注意力机制（multi-head self-attention）和前馈网络（feed-forward network），配合层归一化和残差连接，能动态捕捉RNA序列内各碱基前后的依赖关系，有效融合局部与整体结构信息。

（2）2a3idc模块（Attention Augmented Inception Inside Inception with Dilated CNN）

此核心模块分两路并行处理，内含创新结构：每路以四分支Inception模块为基础，通过大小不一的感受野（即kernel size）、不同的膨胀率（dilation rate），结合膨胀卷积能高效捕捉远程依赖和多尺度特征信息。每一路经过膨胀卷积后，均引入多头注意力机制，进一步聚焦序列不同位置的关键信号，最后两路输出拼接并规范化，为后续预测环节提供丰富、互补的高维表征。

（3）输出层与损失函数

二维特征经过一维卷积和额外注意力模块处理后，被传递至全连接层（Dense Layer），设置18个回归节点分别预测每个核苷酸9个角度（7主链+2伪扭转角）的正弦与余弦值。训练目标是最小化预测值与真实值的均方误差（MSE），以保证角度周期性特征及数值连续性的有效优化。

3. 训练与评估流程

训练采用Adam优化器（学习率0.0001），共训练120个epoch，损失函数为MSE。评价指标除主流的平均绝对误差（MAE, Mean Absolute Error）、还引入MCQ（Mean Circular Quantities，平均环量）评估预测结构与实验结构的整体角度相似性。MCQ能够更好地体现面积预测在三维重建过程中的结构还原度，使评估更具专业性和实用性。

四、主要实验结果与逻辑推演

1. 通用性能提升

实验显示，deeprna-twist在spot-rna-1d及rna-torsionbert等多个权威测试集上均达到业界最高水平，全面优于现有领先方法spot-rna-1d和rna-torsionbert。以spot-rna-1d测试集为例，各角度MAE较同类方法平均下降10%-15%，高变异角度如α、ζ、θ表现提益明显，低变异角度如δ、ε、χ也保持最优预测。广泛样本长度分组分析表明，模型对长链RNA同样保持稳定精度，显著提升通用性。

2. 复杂结构预测能力

针对不同核苷酸配对类型（如未配对、孤立对、赝结、三元组、非经典对、典型嵌套配对），模型在复杂三级结构（如赝结、三元环、非经典对处）同样实现了优于spot-rna-1d的准确性，表明deeprna-twist有效克服了先前方法难以解决的复杂结构角度预测难题。

进一步，与前沿结构预测算法（如AlphaFold 3、rhofold+）及主流扭转角预测利器进行比较，deeprna-twist在独立案例结构重建中获得更低RMSD，呈现更高的三维还原能力。

3. 消融与对比分析

消融实验详细验证了各创新模块的贡献。采用one-hot编码代替RINalmo嵌入，MAE显著上升，证明语言模型特征强大的结构信息提取力。拆除2a3idc模块后，误差增幅最明显（平均MAE增加3-5°），说明其在提取多尺度、多层次长程依赖下的重要作用。替换或去除多头注意力、Transformer后，模型准确性也明显下降。对比不同RNA语言模型（如birna-bert、rna-fm），RINalmo表现最优，充分验证了组建搭配的合理性和创新性。

4. 结构重建案例

作者以PDB结构（4r4v和7ptk）为例，将deeprna-twist预测的扭转角应用于原子结构重建，所得预测结构与实验结构的RMSD分别为3.31 Å和6.59 Å，明显优于同类算法，展示了模型对于下游三维重建与功能分析的实际应用潜力。

五、结论与价值分析

deeprna-twist作为新一代RNA结构生信分析工具，在解决RNA扭转角预测难题上实现了理论和实践的双重突破。其科学价值主要体现在：

六、研究亮点与展望

  • deeprna-twist创新集成了大模型嵌入、改进型inception模块、膨胀卷积和多头注意力，多项消融实验和对比分析严格证明了其显著优势。
  • 在预测极具挑战性的高变异扭转角与复杂三级结构区域，表现出极高精度和稳定性，征服了RNA结构预测领域的多项难题。
  • 独特的评价体系（融合MCQ指标）更科学地反映预测与实际结构的空间相似性，推动结构预测方法论的进化。

尽管如此，面对RNA结构的极端柔性与生物物理本质复杂，极致降低误差依然有待于更大规模数据、跨学科知识和生物物理约束的深度融合。对此，作者团队计划进一步优化特征提取与网络结构，为RNA结构研究带来更多革新性成果。

七、参考与作者致谢

本文受Bangladesh University of Engineering and Technology基础研究基金支持。相关代码、数据及详细文献见论文原文与作者GitHub主页。

本新闻深度解读了deeprna-twist创新算法的设计理念、研究流程、核心技术、主要成果及应用前景，不仅为RNA结构预测领域带来新生机，也推动了生物信息学与人工智能交叉创新的边界。