大型语言模型在生物信息学中的应用综述报告
本文是一篇发表于 Quantitative Biology 期刊的综述文章，于2025年1月15日收稿，2025年4月22日接收，文章doi为10.1002/qub2.70014。该文由来自佐治亚大学、德克萨斯大学阿灵顿分校、北卡罗来纳大学教堂山分校、梅奥诊所、麻省总医院、哈佛医学院、卡内基梅隆大学等众多国际知名学术机构的学者联合撰写，通讯作者为Tianming Liu和Dajiang Zhu，共同第一作者为Wei Ruan、Yanjun Lyu和Jing Zhang。文章题为“Large language models for bioinformatics”，是一篇全面综述生物信息学专用语言模型的研究进展、计算特性、训练方法、数据集、评估框架以及多样应用的学术文献。
本文所处的学术领域是生物信息学与人工智能的交叉地带。近年来，以BERT、GPT为代表的大型语言模型在自然语言处理领域取得了革命性突破，其建模上下文、解析复杂数据模式和生成类人响应的能力，使其自然而然地被扩展应用于生物信息学。生物序列在结构和复杂性上与人类语言具有诸多相似之处，因此LLM技术在基因组学、蛋白质组学和药物发现等生物信息学子领域中展现出了前所未有的洞察力。然而，该领域当前面临着系统化分类缺失和全面评估不足的挑战，已有研究往往只关注有限的应用范围，难以覆盖生命活动的多层次复杂性。为了弥合这一知识鸿沟，本文作者团队与领域专家合作，从生命科学和生物医学应用两大视角出发，提出了“生命活性因子”这一新术语，用以统一描述从DNA、RNA、蛋白质、基因、药物等具体实体，到生物通路、调控因子、基因网络、蛋白相互作用等抽象组分，再到表型、疾病生物标志物等生物学测量的广泛研究对象。该术语的提出旨在调和不同生物信息学子领域之间的概念分歧，并强调在序列、结构和功能层面上的统一建模。
文章首先系统梳理了语言模型与基础模型在生物信息学中的基础背景。在表征学习与分词方面，LLM通过字节对编码、WordPiece和Unigram等子词级分词算法，有效编码了词语特征及其上下文关系。在注意力机制方面，Transformer模型的多头自注意力机制作为其核心创新，能够建立所有相关标记之间的关系，实现全局层面的高效信息融合。在训练方法上，自监督学习使语言模型能够利用海量未标注文本数据，通过预测下一个词或掩码词来生成自身标签；T5所代表的文本到文本框架统一了翻译、问答、分类等多种任务。预训练方法则使模型从大规模无标注数据中学习通用信息，从而提升目标任务上的收敛速度和泛化能力。
在生物信息学的应用与挑战层面，本文从微观到宏观将生命科学因子分为五个层级：分子层级、基因组尺度层级、细胞层级、组织/器官系统层级以及群体/群落/宏基因组层级。生物信息学主要聚焦于前三个层级。在分子层级，分析对象为核酸、氨基酸及其他生物活性小分子；在基因组尺度层级，中心法则揭示了DNA、mRNA、蛋白质到代谢组学的内在关系；在细胞层级，基因功能及其产物的系统表征成为核心研究目标。同时，文章指出了LLM融入生物医学工作流所面临的关键挑战，包括训练数据偏差可能导致模型延续甚至放大现有健康不平等、临床环境中对高可靠性的严苛要求、隐私保护与HIPAA和GDPR等法规的合规需求、以及可解释性和透明度的核心关切。为应对这些挑战，研究者探索了偏差缓解技术、鲁棒模型验证、差分隐私、联邦学习、安全多方计算、可解释AI工具和人类在环方法等多种策略。
关于LLM的核心训练策略，本文详述了四个关键阶段。预训练阶段通过掩码语言建模（如BERT）或因果语言建模（如GPT）使模型在广泛多样的大规模数据集上学习基础语言表征，其优势在于跨任务泛化能力和零样本或少样本性能，但劣势在于计算和能源成本高昂，且预训练语料库中的偏差和错误可能被模型继承。微调阶段通过较小的目标任务数据集将预训练模型适配到特定任务或领域，包括任务特定微调、领域特定微调和指令微调，参数高效微调方法如LoRA和适配器进一步提升了效率。基于人类反馈的强化学习阶段通过奖励模型、强化学习算法和迭代人类反馈三个组成部分，使模型输出与人类偏好和期望对齐，从而提升连贯性、相关性和伦理合规性。知识蒸馏阶段通过将高容量教师模型的知识迁移至更小的学生模型，降低计算成本和内存需求，同时结合思维链序列等推理路径的蒸馏可赋予目标模型更深层次的问题解决能力。
在生物信息学专用数据集方面，本文涵盖了问答系统数据集、文本摘要数据集和信息提取数据集三大类别。问答数据集包括MedMCQA、MedQA、GeneTuring、BioASQ和PubMedQA等，为临床决策支持和医学聊天机器人提供基准。文本摘要数据集如MIMIC-CXR提供了大规模胸片图像与对应报告资源，推动了放射学报告摘要领域的发展。信息提取数据集涵盖命名实体识别和关系抽取任务，包括BC5CDR、NCBI-Disease、ChemProt、DDI、GAD、BC2GM和JNLPPA等，以及共指消解数据集如Medstract、FlySlip、GENIA-MEDCO等，文本分类数据集如HoC，这些数据集为开发和评估生物医学自然语言处理模型提供了不可或缺的基准资源。
在模型演化与关键里程碑方面，本文回顾了从DNABERT、GROVER到SpliceBERT、RNA-FM，再到ProtTrans、ProtGPT2等基因组学、转录组学和蛋白质组学专用语言模型的发展轨迹。AlphaFold系列是其中最具突破性的成就：AlphaFold2凭借基于注意力机制的深度学习架构，仅从氨基酸序列就能以空前准确性预测蛋白质结构，通过多序列比对利用进化信息，显著降低了获取蛋白质结构信息的时间和成本；AlphaFold3进一步引入了蛋白质复合物建模能力，包括蛋白-肽相互作用的预测，通过模板基和模板无关方法扩展了AlphaFold系列的多功能性和影响力。
在基因组层面的应用中，本文详细描述了DNA分析与RNA分析中的LLM方法。在DNA分析中，生物序列被编码为结构化标记，常用方法是将序列分词为3至6个碱基长度的k-mer，DNABERT采用重叠定长k-mer，DNABERT-2和GROVER使用字节对编码，HyenaDNA使用单碱基分词以支持更长输入。预训练方面多数模型采用BERT架构与掩码学习方法，DNABERT-S引入对比学习用于物种聚类，DNAGPT采用GPT模型进行下一标记预测。下游任务通过特定数据集微调实现，包括启动子预测、转录因子结合位点识别、功能变异检测、表观遗传标记预测、增强子序列预测和剪接位点预测等。在RNA分析中，RNABERT采用k-均值分词，SpliceBERT、RNA-MSM和RNA-FM使用单核苷酸分词，RNA-MSM通过引入多序列比对保留进化历史。这些模型在RNA家族分类、RNA结合蛋白结合位点预测、RNA二级结构预测和遗传变异对剪接影响评估等任务中展现了强大能力。
在基因产物层面，单细胞RNA测序数据的LLM适配方法多种多样。Cell2Sentence、tGPT和Geneformer采用基因符号按表达水平排序的序列作为输入；scGPT和scBERT将基因表达离散化并作为标记处理；CiForm将基因表达向量切分为等长子向量或补丁；ToCica将基因表达按特定通路分组为补丁。这些方法的主要目标是在不同组织和物种间实现准确且可泛化的细胞类型注释，并在细胞扰动响应预测、批次效应校正、基因调控网络推断等任务中展现出适应能力。
在表观基因组学中，Enformer等已有LLM存在无法预测不同细胞环境下序列功能和无法纳入三维染色质交互数据的双重局限。EpiGPT作为新型LLM由四个关键组件构成：分析DNA序列的序列模块、编码细胞环境的转录因子模块、检验DNA区域间长程交互的Transformer模块和输出环境特异性基因调控洞察的预测模块。EpiGPT将DNA序列分为基因组箱作为标记，结合序列特征和环境特异性转录因子特征，利用自注意力机制学习长程交互，并通过余弦相似度损失将HiChIP或Hi-C环的三维交互信息引导至注意力权重，从而以更高保真度建模增强子-启动子相互作用等调控机制。
在蛋白质层面，本文分类介绍了编码器独有模型、解码器独有模型、编码器-解码器模型和多模态蛋白质模型。编码器独有模型如ESM-1b、ProteinBERT和ProtTrans适用于蛋白质分类、突变效应预测和二级结构分析；解码器独有模型如ProGen、ProtGPT2和ProGen2能够生成具有特定生化功能的新型蛋白质序列，在蛋白质工程和合成生物学中发挥关键作用；编码器-解码器模型如Fold2Seq和ProstT5适用于蛋白质序列比对、结构预测和蛋白-蛋白相互作用映射；多模态蛋白质模型如MPRL整合序列信息、三维结构数据和功能注释，在蛋白质-配体结合亲和力预测和蛋白质折叠分类等任务中展现出更强的泛化能力。下游任务涵盖蛋白-蛋白相互作用预测、翻译后修饰位点识别（如PTMGPT2通过微调GPT-2架构识别PTM位点）以及蛋白质结构预测（AlphaFold系列、ColabFold、EigenFold等）。
在代谢组学中，LLM的整合为分析和解释代谢组学数据带来了变革性潜力。在数据整合与解释方面，LLM可促进代谢组学数据与基因组学、转录组学、蛋白质组学和临床数据的整合，通过跨注意力机制同时处理光谱数据、化学结构和生物学注释；在生物标志物发现与验证方面，LLM可分析临床试验和队列研究的大规模数据集以识别与疾病状态相关的潜在标志物，不确定性量化方法和假发现率控制已整合入基于LLM的发现流程；在代谢通路分析与药物发现方面，图神经网络架构与LLM的混合方法可捕获代谢网络的拓扑结构和代谢物的化学性质，分子对接模拟与LLM预测的整合增强了药物-靶标相互作用预测的准确性；此外，LLM在个性化医疗、文献挖掘与知识发现、质量控制和数据标准化以及预测建模与模拟等方面均展现了广泛的应用前景。
在疾病特异性生物医学应用方面，本文聚焦于脑衰老与脑疾病。LLM正在通过创新性的诊断、治疗和知识发现方法改变脑疾病的研究与管理范式。在临床诊断支持中，LLM处理多样的数据类型：从生物医学文本（包括文献和电子健康记录）到语音转录文本再到文本生成。在文本数据方面，研究表明LLM能从临床笔记中准确预测轻度认知障碍向阿尔茨海默病的进展，利用多模态方法对齐文本与影像数据以增强诊断，使用ChatGPT-3.5、ChatGPT-4和Google Bard在神经病理案例中分别达到76%、84%和76%的诊断准确率，并能从急诊MRI报告中高精度提取信息。在语音转录文本方面，阿尔茨海默病患者在描述图像时常表现出找词困难、语法错误和叙事不连贯等特征，LLM在此类分析中优于支持向量机和随机森林等传统方法，BERT模型在测试集上达到79.1%的分类准确率。在文本生成方面，GPT-4通过零样本思维链和文本分类提示，能够从急性卒中病例的病史和神经系统体格检查数据中准确定位病灶。在生物序列方面，LLM能够利用DNA、RNA和蛋白质序列数据，从分子层面辅助理解脑疾病的遗传基础和病理机制。
本文的学术价值主要体现在以下几个方面：第一，系统性地对生物信息学专用语言模型进行了全面梳理和分类，从演化历程、计算特性和应用领域多维度构建了该领域的知识框架；第二，提出了“生命活性因子”这一统一性概念，为跨子领域的多模态数据建模和生物系统中复杂交互关系的理解提供了理论调和工具；第三，深入剖析了LLM在训练方法、数据集构建、评估框架以及模型演化方面的技术细节，为研究者和临床医生提供了实践指导；第四，明确指出了该领域面临的关键挑战，包括数据隐私与安全、可解释性问题、训练数据偏差、领域适配复杂性、可扩展性和模型鲁棒性等，并给出了相应的解决策略。展望未来，随着多样化高质量注释数据集的持续扩展和前沿技术的不断融合，生物信息学专用语言模型有望在精准医疗、药物研发和复杂疾病机制解析等领域实现更具突破性和可扩展性的创新，推动下一代生物医学研究与健康照护的发展。