ProteinGym：大规模蛋白质设计与适应度预测基准
本文介绍了一个名为ProteinGym的大规模基准测试平台，该平台由来自牛津大学计算机科学系的Pascal Notin、哈佛医学院系统生物学系的Aaron W. Kollasch、Daniel Ritter、Lood van Niekerk以及Debora S. Marks等多位研究者共同开发。该研究发表于2023年NeurIPS（神经信息处理系统大会）的数据集与基准测试专题（Track on Datasets and Benchmarks）。
蛋白质在生物体内承担着催化化学反应、运输分子、细胞间信号传导以及提供结构支撑等多种功能。这种惊人的功能多样性完全编码在其氨基酸序列之中。据估算，一条仅含64个残基的肽链，其可能的序列排列数量就已经超过了宇宙中原子的估计总数。然而，尽管过去二十年测序技术取得了巨大进步，我们观测到的仅仅是这一庞大序列空间中相对较小且有偏倚的一小部分。因此，操纵和优化已知序列与结构的能力，为应对气候、农业和医疗保健领域的紧迫问题带来了巨大的机遇。设计新型、功能优化的蛋白质面临诸多挑战，其核心在于学习蛋白质序列或结构与其功能特性之间的映射关系，这种映射常被称为“适应度景观”（fitness landscape）。近年来，大量机器学习方法被提出用于蛋白质建模，但评估这些方法的有效性一直颇具挑战，主要原因在于它们往往在不同的、规模有限的基准数据集上进行评估，且模型性能在不同蛋白质家族间波动显著。为了克服这些局限，研究者开发了ProteinGym。
ProteinGym的核心构成包含三个层面：数据层、模型层和分析层。数据层涵盖两类互补的真实标签来源：深度突变扫描（Deep Mutational Scanning, DMS）实验数据和来自领域专家的临床注释数据。针对这两类数据，平台均分析替换突变（substitutions）和插入缺失突变（indels）两种突变类型。具体而言，DMS数据层包含超过250个标准化的深度突变扫描实验，涉及超过270万个突变序列，覆盖超过200个蛋白质家族，这些蛋白质具有不同的功能、来自不同物种分类单元（taxa）并具有不同的同源序列深度。平台还纳入了临床基准数据集，提供了约6.5万个人类基因中替换和插入缺失突变的高质量专家注释。模型层包含了一组多样化的基线模型集合，包括了超过70种来自不同子领域的高性能模型，如基于比对（alignment-based）的模型、蛋白质语言模型（protein language models）和逆向折叠（inverse folding）模型。分析层则包括了针对适应度预测和蛋白质设计评估的多种性能指标，以及便于在不同条件下进行模型比较的分割变量（如MSA深度、实验表型、物种分类单元）。在训练范式上，ProteinGym同时支持零样本（zero-shot）和监督学习（supervised）两种设置。
在评估框架方面，对于零样本DMS基准，由于蛋白质功能与生物体适应度之间常存在非线性关系，斯皮尔曼等级相关系数（Spearman’s rank correlation）是最常用的性能指标。当DMS测量值呈双峰分布时，平台补充使用ROC曲线下面积（AUC）和马修斯相关系数（MCC）。此外，为了评估模型识别功能最优蛋白质的能力，平台还计算归一化折损累计增益（NDCG）和前10%召回率（top 10% recall）。为避免对具有大量实验的特定功能属性赋予过高权重，所有指标首先在功能相似的实验组内计算平均值，再对这些组平均值取平均。对于临床数据集，则计算ROC和精确率-召回率曲线下面积。在监督学习DMS基准中，为减轻过拟合风险，平台采用了随机（random）、连续（contiguous）和模运算（modulo）三种交叉验证方案，以评估模型对训练时未见位置的泛化能力，并报告斯皮尔曼等级相关系数和均方误差（MSE）。
在零样本替换突变基准测试中，TranceptEVE模型在大多数指标上表现最佳，在斯皮尔曼相关系数、AUC、MCC、NDCG和召回率上分别达到0.457、0.752、0.357、0.785和0.231。GEMME模型在病毒或非人类真核蛋白实验以及低到中等MSA深度实验等特定类别中表现最优。自回归蛋白质语言模型（如Tranception、ProGen2）在零样本设置下往往优于掩码语言建模模型（如ESM系列）。在监督学习DMS基准测试中，使用从ESM-1v、MSA Transformer和Tranception等模型提取的嵌入向量（embeddings）的模型性能优于基于独热编码（one-hot encoded）特征的模型。ProteinNPT架构取得了最佳性能，该模型通过在输入标记批次上执行轴向注意力（axial attention），在列（氨基酸标记和标签）和行（蛋白质序列）之间交替进行自注意力，从而学习数据的丰富表示。
在零样本插入缺失突变基准测试中，由于许多基于比对的模型无法处理序列长度变化，仅报告了Tranception、TranceptEVE、WaveNet、HMM、ProGen2、UniRep、RITA和ProtGPT2等模型。中等规模的Tranception模型在所有实验上取得了最高的斯皮尔曼等级相关系数和AUC，而TranceptEVE在评估设计或天然序列的子集上表现最佳。
ProteinGym研究的主要结论是，该平台成功解决了蛋白质设计和适应度预测领域缺乏大规模基准测试的问题。它使得来自不同子领域的方法能够在多个维度上进行直接比较，包括MSA深度、突变深度、物种分类单元等，并基于不同的真实标签数据集（DMS实验与临床注释）以及不同的训练范式（零样本与监督学习）进行评估。该研究的价值在于，通过提供前所未有的规模和多样性，为机器学习与计算生物学界提供了一个更加稳健和全面的模型性能评估体系，并建立了不同子领域之间的联系。研究者还开源了相应的代码库、处理后的数据集、MSA、结构、模型预测，并开发了一个用户友好的网站以促进数据访问和分析。
该研究的主要亮点在于其规模性和整体性。与以往仅依赖1至3个实验的适应度预测基准不同，ProteinGym包含了超过250个DMS实验和超过270万个突变。此外，该平台创新性地同时整合了零样本和监督学习两种训练范式，从而揭示了模型在不同场景下的相对优势，并促进了跨领域的比较，例如将逆向折叠模型与蛋白质语言模型在同一基准上进行评估。