Regformer研究报告

一、研究基本信息

本文介绍了一项题为“Regformer: a single-cell foundation model powered by gene regulatory hierarchies”的原创研究。该研究由来自BGI Research（华大研究院）的Luni Hu和Hua Qin作为共同第一作者完成，通讯作者为Yong Zhang、Yuxiang Li、Shuangsang Fang和Xun Xu。研究于2025年10月16日投稿，2026年4月1日被接收，发表于Nature Communications期刊（DOI: 10.1038/s41467-026-72198-x）。研究团队主要来自BGI Research北京、深圳和武汉的多个实验室。

二、研究背景与目标

单细胞RNA测序（single-cell RNA sequencing, scRNA-seq）技术为解析细胞异质性、基因表达动态及调控网络提供了革命性的工具。然而，现有的计算模型面临三大核心挑战：第一，大多数模型未能有效整合基因调控网络（gene regulatory networks, GRNs）等生物学先验知识；第二，scRNA-seq数据固有的稀疏性难以被准确建模；第三，基于Transformer架构的模型受限于二次计算复杂度，难以高效处理长基因序列。此前的基础模型如scGPT、Geneformer、scFoundation和scBERT虽然借鉴了自然语言处理（natural language processing, NLP）技术，但其序列建模策略本质上不适用于基因表达数据无固定顺序的特性，且无法充分捕获基因间的层级调控关系。

针对上述问题，Regformer的核心目标是：通过整合GRN先验知识与Mamba状态空间模型，构建一个具备生物学可解释性和计算可扩展性的单细胞基础模型，以提升细胞类型注释、调控网络重建、遗传扰动预测及药物反应预测等下游任务的性能。具体而言，该研究的科学目标包括：（1）利用GRN的拓扑层级结构指导基因排序，使模型学习具有生物学意义的因果调控路径；（2）通过双嵌入（dual embedding）方案同时编码基因的调控身份和定量表达值；（3）采用Mamba块实现线性复杂度的高效长序列建模；（4）通过大规模预训练（2500万个人类单细胞）学习通用的转录调控表征。

三、研究流程与实验方法

该研究的整体工作流程可分为六个核心步骤。

第一步：大规模预训练数据集的构建与标准化。研究团队从CZ CELLxGENE数据库收集了覆盖45种组织、多种测序平台、不同发育阶段和疾病状态的2500万个人类单细胞数据。所有原始矩阵统一转换为AnnData对象，执行标准化预处理流程：过滤检测基因数少于200的低质量细胞，采用scanpy.pp.normalize_total进行归一化，对非对数转换数据条件性应用log1p变换，过滤零表达基因，并将处理后的数据序列化为LMDB格式以支持大规模训练的高效数据流式读取。

第二步：GRN构建与拓扑排序。研究团队利用cisTarget数据库中的转录因子（transcription factor, TF）基序-靶基因映射关系，为每个TF建立与其排名前20靶基因的有向边，生成初始调控图。随后采用node2vec算法学习节点嵌入，并通过迭代删除余弦相似度最低的边以消除反馈回路，最终获得有向无环图（directed acyclic graph, DAG）。该过程保留了超过92%的边，最终网络包含13.4%的TF节点和86.6%的靶基因，并按照调控层级深度排列。基因序列依据DAG拓扑排序进行组织，确保上游调控因子先于其下游靶标出现在输入序列中，使信息沿生物学有效的调控路径传播。

第三步：Regformer架构设计。该模型包含三个关键创新组件。第一个是双嵌入方案：每个基因由其token嵌入（编码基因调控身份）和value嵌入（编码标准化表达量）之和表示，使模型能够同时学习基因的类别信息和定量调控信息。第二个是Mamba状态空间块：模型采用堆叠的Mamba编码器处理基因序列，其选择性状态空间机制通过深度卷积和门控激活实现选择性状态更新，时间复杂度为线性，可高效捕获跨转录模块的长程调控依赖。第三个是多任务预训练目标：模型联合优化三个自监督任务——掩码值预测（masked value prediction, MVP）、基因表达预测（gene expression prediction for cells, GEPC）和调控拓扑建模（regulatory topology modeling, TOPO），其中TOPO任务通过预测拓扑排序后的下一个基因token来学习调控方向性。三个任务的损失权重分别为0.1、0.5和1.0，掩码率为40%。

第四步：系统性消融实验。为验证各组件的贡献，研究团队在100万个血液细胞上训练了多个消融变体，包括随机基因排序、仅值嵌入、Transformer替代Mamba、二值分类替代回归、GRN边洗牌和删边、单目标或目标移除等配置。评估指标涵盖转录因子分类准确率、基因嵌入与调控度的相关性、平均轮廓宽度（average silhouette width, ASW）及GRN重建的生物学一致性。

第五步：下游任务评估。研究团队采用BiolLM基准框架，在多个数据集上系统比较了Regformer（分为1.2k和10k两种输入长度配置）与scGPT、Geneformer、scFoundation和scBERT的性能。评估任务包括：（1）细胞嵌入质量——使用ASW衡量细胞类型分离度和批次整合效果；（2）细胞类型注释——在7个数据集上计算宏平均F1分数、准确率及加权平均精度；（3）GRN重建——基于基因嵌入的余弦相似度推断调控网络，并通过基因本体（gene ontology, GO）富集分析和调控子活性评估其生物学一致性；（4）遗传扰动预测——将预训练基因嵌入整合到GEARS框架中，在Adamson和Norman CRISPR扰动数据集上预测扰动后的表达变化；（5）药物反应预测——利用DeepCDR框架，将Regformer嵌入替代CCLE表达谱输入，采用留一药物交叉验证评估IC50预测性能。

四、主要结果与分析

在细胞嵌入质量方面，Regformer在人肺、骨髓、树突状细胞和胰腺四个数据集中均取得了最高的ASW分数，表明其表征能够更清晰地解析细胞类型层次和批次效应。具体而言，在代表离散细胞状态的人肺数据集中，Regformer准确分离了上皮、内皮和免疫谱系；在代表连续分化轨迹的骨髓数据集中，该模型有效区分了早期髓系和淋巴系祖细胞。此外，Regformer在不同高变基因（highly variable genes, HVGs）数量下保持稳定的ASW分数，而其他对比模型在特征数减少时性能显著下降。10k基因变体在大多数评估中优于1.2k变体，表明更长的输入序列能够提供更完整的调控上下文。

在细胞类型注释任务中，Regformer-10k和Regformer-1.2k在六个代表性数据集上均取得最高的宏平均F1分数。在zheng68k数据集中，该模型准确重建了精细的免疫图谱，能区分密切相关的CD4和CD8 T细胞亚群。混淆矩阵分析显示Regformer具有最高的对角集中度，表明标签恢复保真度最高、跨类型混淆最少。值得注意的是，在冻结骨干的情况下，Regformer已经优于现有的单细胞基础模型，微调后性能进一步提升，特别是在稀有细胞类型的识别上表现出明显优势。这些结果证明预训练表征具有直接可迁移性，同时具备通过微调进一步优化的潜力。

GRN重建实验表明，Regformer推断的调控网络在功能相似性指数上优于所有对比模型。在人类肺数据集上，Regformer实现了最高的GO富集计数，其调控子活性与已知功能高度一致。典型案例验证了该方法的生物学有效性：GATA3的调控子活性和表达在T细胞中显著富集，与其作为T细胞分化主调控因子的已知功能一致；SPI1（PU.1）的活性和表达集中在巨噬细胞和单核细胞相关簇中，符合其在髓系谱系定向中的关键作用。重建的GATA3和SPI1调控子包含IL16、POU2AF1、CD14和CLEC7A等经典免疫相关靶基因，准确反映了其在适应性免疫和固有免疫调控中的角色。

遗传扰动预测方面，Regformer在Adamson和Norman数据集上均实现了具有竞争力的MSE和Pearson相关系数。对UFL1和KMT2A等代表性扰动，预测与观测的δ表达值呈现出近乎完美的线性对应关系（R²>0.97）。余弦相似度分析进一步揭示差异表达基因与扰动TF之间的嵌入距离比非响应基因更近，说明Regformer的嵌入空间有效编码了调控依赖关系，能够从静态网络拓扑泛化到动态扰动响应。

药物反应预测任务中，Regformer在Pearson相关系数和Spearman秩相关系数上均超越了DeepCDR、Geneformer、scGPT、scBERT和scFoundation等所有对比模型。在留一药物盲测中，Regformer在几乎所有未见过药物上一致优于DeepCDR。通路水平分析揭示了具有生物学意义的药物敏感性机制：硼替佐米响应与TNF-α/NF-κB信号通路相关，SN-38响应与p53介导的凋亡通路相关，进一步验证了模型表征的生物学可解释性。

五、结论与研究价值

Regformer通过将GRN先验知识与Mamba状态空间建模相结合，为单细胞转录组学提供了一个具有生物学基础和计算可扩展性的表征学习框架。该研究的科学价值体现在三个层面：首先，它证明了GRN引导的基因排序能够使序列模型学习到具有因果方向性的调控关系，解决了传统NLP方法忽视基因间层级依赖性这一根本缺陷；其次，Mamba的线性时间复杂度使模型能够扩展到10,000个基因的输入长度，大幅突破了Transformer架构的有效上下文限制；第三，双嵌入方案成功地将基因的调控身份与表达定量分离，为跨数据集表达尺度异质性的泛化提供了稳健的解决方案。

在应用价值上，Regformer在细胞类型注释、GRN重建、扰动建模和药物反应预测等多项任务上的系统性优势，使其成为一个适用于多种下游分析的单细胞基础模型。特别是在稀有细胞类型识别和未见药物敏感性预测方面的表现，为精准医学中的细胞状态解析和药物筛选提供了实用的计算工具。

六、研究亮点

本研究的主要亮点包括：（1）提出了GRN引导的基因排序策略，将生物学调控层级转化为可学习的序列顺序，这一设计是Regformer区别于所有现有单细胞基础模型的核心创新；（2）构建了一个包含2500万人单细胞的大规模预训练语料库，覆盖45种组织和多种疾病状态，为模型的通用性奠定了基础；（3）通过系统性的消融实验体系验证了每个架构组件和预训练目标的贡献，其中删除TOPO目标导致的性能下降最为显著，突显了调控拓扑建模的关键作用；（4）展示了从静态GRN表征到动态扰动响应和药物敏感性预测的泛化能力，表明模型成功学习了调控程序的内在机制。