类型a：这篇文档报告了一项原创研究，因此应按照类型a的要求撰写学术报告。

主要作者和机构及发表信息
本文由罗志杰（Luozhijie Jin）和杜子健（Zijian Du）等作为共同第一作者完成，通讯作者为岑岩（Yan Cen）和张浩（Hao Zhang）。研究由复旦大学信息科学与技术学院、物理系、材料科学系等多个院系合作完成，并得到了国家自然科学基金和上海市自然科学基金的支持。该研究于2025年发表在《Nature Communications》期刊上。

学术背景
本研究属于材料科学与机器学习交叉领域，旨在通过开发一种新的原子嵌入方法（Universal Atomic Embeddings, UAEs）来提高晶体性质预测的准确性。传统方法在处理原子信息时通常采用稀疏的“0-1编码”或基于预定义属性的人工构造特征，这些方法对模型的信息提取能力有限。近年来，Transformer架构在化学分子性质预测中表现出色，能够有效捕捉复杂的三维结构和原子间相互作用。然而，在材料科学领域，如何利用Transformer生成具有普适性的原子嵌入仍是一个未被充分探索的方向。

本研究的核心目标是开发一种基于Transformer的晶体Transformer模型（CrystalTransformer），生成普适性原子嵌入（CT-UAES），并验证其在不同材料数据库和任务中的适用性和可迁移性。此外，研究还希望通过对CT-UAES的聚类分析，揭示元素周期表中原子特征与晶体性质之间的潜在联系。

详细研究流程
本研究的工作流程包括以下几个关键步骤：

1. 数据准备与模型设计
   研究使用了Materials Project（MP）数据库及其扩展版本MP*数据库，分别包含69,239和134,243种材料的数据。数据集分为训练集（80%）、验证集（10%）和测试集（10%）。研究对象包括晶体的形成能（Formation Energy, Ef）和带隙（Bandgap, Eg）等关键性质。
   

CrystalTransformer模型的设计基于标准Transformer架构，输入包括原子的化学信息（One-Hot编码）和坐标信息。模型首先对坐标信息进行拓扑增强（如平移和旋转变换），然后通过线性变换将输入映射到高维空间，并通过多头自注意力机制（Multi-Head Self-Attention）和前馈神经网络（Feed-Forward Network）逐步提取特征。最终输出的嵌入向量被用作原子的“指纹”。

1. 嵌入生成与后端模型结合
   生成的CT-UAES被迁移到多种后端模型（Back-End Models）中，如CGCNN、MEGNet和ALIGNN，用于预测晶体性质。研究比较了CT-UAES与传统嵌入方法（如0-1编码和预训练嵌入）在不同任务中的表现。

2. 实验设计与评估

   • 单任务与多任务嵌入对比：研究分别训练了单任务嵌入（仅针对Ef或Eg）和多任务嵌入（同时针对Ef和Eg）。
     
   • 可迁移性测试：将Ef任务生成的嵌入应用于Eg任务，反之亦然，以评估嵌入的通用性。
     
   • 数据稀缺场景测试：研究在混合有机-无机钙钛矿（HOIP）材料数据库中验证了CT-UAES的适用性。
     
   • 聚类分析：通过UMAP降维和K-Means聚类方法对CT-UAES进行可视化分析，探讨其与实际原子特性的关系。
     

3. 数据分析方法
   数据分析采用了均方绝对误差（MAE）和决定系数（R²）作为评价指标。此外，研究还通过动态时间规整（DTW）方法测量了不同多任务嵌入之间的相似性，并利用SHAP算法解释了嵌入维度的重要性。

主要结果
1. CT-UAES的性能提升
在MP数据集上，CT-UAES显著提高了CGCNN、MEGNet和ALIGNN模型的预测准确性。例如，CGCNN模型的Ef预测误差从0.083 eV/atom降低至0.071 eV/atom（减少14%），Eg预测误差从0.384 eV降低至0.359 eV（减少7%）。类似地，MEGNet和ALIGNN模型也表现出显著的性能提升。

1. 多任务嵌入的优势
   多任务嵌入（MT@2P、MT@3P、MT@4P）在多个任务中均优于单任务嵌入。例如，MT@2P-CGCNN模型在Ef和Eg预测中的MAE分别为0.068 eV/atom和0.357 eV，分别比基线模型降低了18%和7%。

2. 可迁移性测试结果
   CT-UAES在跨任务和跨数据库的测试中表现出良好的迁移能力。例如，Ef任务生成的嵌入在Eg任务中使MAE从0.384 eV降低至0.359 eV（减少6%）。此外，在HOIP材料数据库中，CT-UAES使CGCNN模型的Ef预测误差从0.054 eV/atom降低至0.046 eV/atom（减少16%）。

3. 聚类分析结果
   UMAP降维和K-Means聚类分析表明，CT-UAES能够将元素周期表中的元素划分为三类（Class A、B、C），每类元素的化学稳定性、带隙分布和磁化特性表现出显著差异。例如，Class A元素（如IIA族金属）倾向于形成高稳定性的氧化物，而Class B元素（如VB-VIIIB族金属）表现出较宽的带隙范围。

4. 嵌入解释性分析
   通过CatBoost模型和SHAP算法分析发现，CT-UAES的某些维度与原子半径、沸点、电导率等物理化学性质高度相关。例如，第98和109维度对原子半径的解释力最强（R²=0.784）。

结论与意义
本研究成功开发了一种基于Transformer的普适性原子嵌入方法（CT-UAES），显著提高了晶体性质预测的准确性。CT-UAES不仅在多种材料数据库和任务中表现出良好的迁移能力，还通过聚类分析揭示了元素周期表中原子特征与晶体性质之间的潜在联系。

这项研究的科学价值在于提供了一种高效且通用的原子嵌入方法，为材料科学中的机器学习应用开辟了新方向。其应用价值体现在加速新材料的发现，特别是在数据稀缺场景（如HOIP材料）中具有重要意义。

研究亮点
1. 开发了一种基于Transformer的晶体Transformer模型，生成普适性原子嵌入（CT-UAES）。
2. CT-UAES在多个任务和数据库中显著提高了预测准确性，解决了传统嵌入方法的局限性。
3. 通过聚类分析揭示了元素周期表中原子特征与晶体性质之间的潜在联系。
4. 在HOIP材料数据库中验证了CT-UAES在数据稀缺场景中的适用性。

其他有价值内容
研究还探讨了CT-UAES的可解释性，通过SHAP算法识别了嵌入维度与原子物理化学性质之间的关联，为进一步优化嵌入方法提供了理论依据。此外，研究提出了一种动态时间规整（DTW）方法，用于分析不同多任务嵌入之间的相似性，为未来研究提供了新的工具。