蛋白质序列嵌入空间的树形可视化改善多种蛋白质超家族的功能聚类

作者与发表信息

本文的主要作者为Wayland Yeung、Zhongliang Zhou、Liju Mathew、Nathan Gravel、Rahil Taujale、Brady O’Boyle、Mariah Salcedo、Aarya Venkat、William Lanzilotta、Sheng Li和Natarajan Kannan。其中Wayland Yeung和Zhongliang Zhou为共同第一作者，Sheng Li和Natarajan Kannan为共同通讯作者。研究团队来自佐治亚大学（University of Georgia）生物信息学研究所、生物化学与分子生物学系、微生物学系以及弗吉尼亚大学（University of Virginia）数据科学学院。该研究于2022年9月6日投稿，2022年12月9日修订，2022年12月17日接受，2023年发表于《Briefings in Bioinformatics》期刊第24卷第1期，文章编号bbac619。

研究背景

蛋白质语言模型（protein language models）在数百万条生物序列上进行训练，能够生成富含特征的蛋白质序列数值表示，这些表示被称为序列嵌入（sequence embeddings）。尽管蛋白质语言模型仅在一级序列上训练，但其生成的序列嵌入可以推断蛋白质的结构与功能特性。目前序列嵌入已应用于结构预测和功能预测等任务，但在无序列比对的序列分类方面的应用仍受到限制，主要原因在于缺乏对蛋白质序列嵌入之间关系的推导、量化和评估的系统研究。

传统上，蛋白质分类主要依赖基于序列比对的方法（alignment-based methods）。然而，随着蛋白质序列数据库的多样性迅速增长，对于大规模、高度分化的序列数据集，准确比对变得越来越困难。例如在蛋白激酶（protein kinase）家族中，人类基因组编码的约500个典型蛋白激酶已有较可靠的分类，但它们与远缘的非典型激酶（atypical kinases）之间的联系难以通过序列比对推断。类似地，不同折叠类型的磷酸酶（phosphatase）以及结构多样的自由基S-腺苷-L-甲硫氨酸（radical SAM）酶超家族的分类也面临相同挑战。虽然已有一些深度学习方法用于酶类预测，但这些方法通常需要监督训练和人工标注标签，限制了其广泛应用。

针对上述问题，本研究旨在开发标准化的流程和可视化方法，利用蛋白质语言模型生成的序列嵌入进行蛋白质家族分类。具体目标包括：建立从蛋白质序列嵌入中提取固定大小表示的方法；比较不同流形可视化方法在保留高维数据结构方面的性能；开发评估树形聚类可信度的方法；以及在磷酸酶、蛋白激酶和radical SAM三个酶超家族上验证嵌入分类与已知分类的一致性。

研究流程与方法

本研究的工作流程包括序列数据集构建、蛋白质序列嵌入生成、嵌入距离计算方法评估、流形可视化方法基准测试、树形聚类置信度评估以及案例研究应用六个主要步骤。

在序列数据集构建方面，研究者从Pfam数据库（2022年4月10日获取）下载了6909个标记为“domain”的比对数据，将每个比对过滤至90%相似度以减少冗余，去除序列数少于100的比对，并随机抽样至最多500条序列。最终获得6048个蛋白质结构域数据集，共包含2,685,566条未比对的蛋白质序列。后续案例研究使用了三个人类酶数据集：人类蛋白激酶数据集包含558个催化结构域序列，人类磷酸酶数据集包含204个催化结构域序列，radical SAM酶数据集包含179个来自模式生物的催化结构域序列，其核心结构域片段根据已知晶体结构和AlphaFold2模型进行人工识别和修剪。

在蛋白质序列嵌入生成方面，研究者使用ESM-1b蛋白质语言模型进行嵌入编码。ESM-1b在生成能够捕捉结构-功能特性的嵌入方面表现优越。每个蛋白质序列经ESM-1b处理后产生大小为(t, e)的嵌入向量，其中t为残基标记数和特殊标记数之和，e为每个标记的上下文信息维度（1280维）。ESM-1b包含两个特殊标记：序列开始标记（beginning-of-sequence token）和序列结束标记（end-of-sequence token）。

由于不同长度的蛋白质序列会产生不同大小的嵌入向量，必须将其转换为固定大小的表示以便比较。研究者测试了多种生成固定大小嵌入的方法，包括使用序列开始标记、使用序列结束标记、取两个特殊标记的均值以及取所有残基标记的均值。同时比较了多种距离度量方式，包括余弦距离（cosine distance）、欧氏距离（Euclidean distance）、曼哈顿距离（Manhattan distance）、Jensen-Shannon散度以及三角形相似度-扇形相似度（TS-SS）。研究者使用轮廓系数（silhouette score）来评估不同嵌入距离计算方法产生的距离是否具有生物学意义。

在流形可视化方法方面，研究者比较了两大类方法。第一类是基于降维的方法，包括UMAP（统一流形近似与投影，Uniform Manifold Approximation and Projection）和t-SNE（t分布随机邻域嵌入，t-distributed Stochastic Neighbor Embedding），这些方法将高维数据投影到低维空间后用散点图展示。第二类是基于树的方法，包括UPGMA（非加权组平均法，Unweighted Pair Group Method with Arithmetic Mean）和邻接法（Neighbor Joining, NJ），这些方法通过无环二叉分支树结构建模高维数据之间的非线性关系，数据点之间的距离通过共表型距离（cophenetic distance）解释。

为了评估可视化方法的准确性，研究采用两个指标：可信度（trustworthiness）衡量可视化中每个数据点的最近邻在多大程度上被保留，用于评估局部结构的保真度；Spearman秩相关系数衡量原始数据集中所有成对距离与可视化中成对距离之间的相关性，用于评估全局结构的保真度。

在树形聚类置信度评估方面，研究者开发了一种新方法，称为VAE分支支持估计（VAE implemented branch support estimation, VIBE）。其原理与系统发育推断中的自举重采样类似：训练一个变分自编码器（variational autoencoder, VAE）学习嵌入向量的潜在分布，然后利用训练好的VAE生成500个重采样数据集，为每个重采样数据集构建复制树，最后计算原始树中每个分支对应的二分划分在复制树中出现的频率作为聚类置信度。VAE训练15,000个epoch，损失函数为均方误差（MSE）、KL散度（KLD）和TS-SS误差的加权组合，其中KLD的权重由余弦退火调度器控制。

主要研究结果

在可视化方法基准测试方面，研究者使用6048个Pfam蛋白质结构域数据集进行系统比较。结果显示，基于树的方法在保留全局距离方面显著优于UMAP、t-SNE和UPGMA等降维方法，同时在保留局部邻域方面表现相当。进一步分析发现，随着数据集规模的增大，降维方法的性能几乎单调下降，这表明降维方法无法很好地扩展至较大数据集，而基于树的方法在不同数据集大小下保持稳定的性能。

在磷酸酶案例研究中，人类磷酸酶包含10种不同的结构折叠。研究者使用全残基标记均值的余弦距离生成嵌入距离。UMAP散点图将CC1磷酸酶分成三个独立的簇，并将CC2和CC3磷酸酶放置在CC1中DSP和PTEN家族所在的簇附近。而NJ树则将所有CC1-CC3磷酸酶归入一个大的聚类中，该聚类进一步细分为不同的家族。此外，NJ树还将PPPL、PPM和AP磷酸酶聚类在一起，这一分组未在UMAP投影中观察到，但在功能上具有合理性：PPPL和PPM磷酸酶特异性作用于磷酸丝氨酸和磷酸苏氨酸，而AP可以结合磷酸丝氨酸和磷酸苏氨酸底物。在去除三个离群序列后，VIBE评估显示主要折叠对应的聚类具有较高的置信度：120个CC1磷酸酶在76%的复制树中被归入同一组，CC1-CC3的聚类出现在82%的复制树中，PPPL-PPM-AP的聚类出现在73%的复制树中。

在蛋白激酶案例研究中，研究者使用开始标记和结束标记均值的TS-SS距离生成嵌入距离。NJ树正确地将非典型激酶与典型蛋白激酶分开，而UMAP投影则将非典型激酶与蛋白激酶混杂在一起。NJ树进一步定义了RGC-TKL-TK和AGC-CAMK两个层级聚类，这两个进化分组与系统发育研究结果一致。NJ树还将CK1放置在离非典型激酶最近的位置，这与CK1缺乏某些典型蛋白激酶保守基序、表现出底物混杂性和组成型活性的特征一致，提示CK1可能是连接非典型激酶与典型蛋白激酶的最古老蛋白激酶组。在去除“其他”类别的未分类激酶后，VIBE评估得到了高置信度的树结构。

在radical SAM酶案例研究中，研究团队构建了包含多种radical SAM酶家族的数据集，将每个序列修剪至核心催化结构域。尽管仅使用核心结构域序列，嵌入树仍然将功能相关的酶家族聚集在一起。具体而言，专门进行甲基或硫转移的B12-binding、MTaseA、LipA和MTTase家族被归入一个聚类；在邻近的聚类中，部分HemN酶也催化甲基转移。HemN和Elp3家族具有已报道的序列相似性，而Elp3和BATS家族都保留了扩展的TIM桶状折叠。Viperin和SPASM家族都保留了C端延伸，Viperin被放置在SPASM家族中作用于核苷酸底物的MoAA亚家族附近。QueE和TYW1家族被紧密聚集在一起，两个家族都参与tRNA生物合成和高度修饰。

结论与意义

本研究开发并展示了利用序列嵌入进行蛋白质层级分类的新策略。序列嵌入使用预训练的蛋白质语言模型生成，无需微调。这一方法不仅在计算上更为可行，而且可以推广至任何蛋白质超家族，同时避免了在小范围蛋白质序列上训练可能引入的偏差。基于分析结果，本研究提出的无序列比对分类方法在广泛捕捉已知关系的同时揭示了新的见解：提示PPPL、PPM和AP磷酸酶之间存在功能相似性；推断CK1是最原始的蛋白激酶组；提出了radical SAM超家族的首个层级分类方案。随着更先进的蛋白质语言模型的发展，基于嵌入的序列聚类方法的性能还将继续提升。

研究亮点

本研究的主要亮点包括：第一，首次系统比较了树形方法与降维方法在蛋白质序列嵌入可视化中的性能，证明NJ树在保留全局结构方面显著优于UMAP和t-SNE；第二，开发了VIBE方法，利用变分自编码器重采样来评估树形聚类的统计置信度，为无监督聚类的可靠性评估提供了新途径；第三，在三个具有代表性的酶超家族上验证了嵌入分类与已知进化关系的一致性，并提出了新的功能分组假设；第四，定义了多种将全长嵌入转换为固定大小向量的方法和距离度量，为后续研究提供了标准化参考。此外，研究还指出，树形方法不仅可用于序列分类，还可作为高维数据可视化的通用方法，在单细胞转录组学等领域具有潜在应用价值。