面向材料科学家的可解释机器学习（Explainable Machine Learning, XAI）综述报告

本文是一篇由Xiaoting Zhong、Brian Gallagher、Shusen Liu、Bhavya Kailkhura、Anna Hiszpanski和T. Yong-Jin Han共同撰写的综述文章，作者主要来自美国劳伦斯利弗莫尔国家实验室（Lawrence Livermore National Laboratory）的材料科学部和应用科学计算中心。该文于2022年发表在《npj Computational Materials》期刊上。文章旨在为材料科学家提供一个关于可解释人工智能（XAI）领域的入门指南，系统性地阐述了XAI的核心概念、代表性技术及其在材料科学中的具体应用实例，并探讨了该领域面临的挑战与未来机遇。

论文核心主题与背景 文章的核心主题是探讨如何将XAI技术应用于材料科学领域，以解决高精度机器学习（ML）模型（尤其是深度神经网络，DNNs）普遍存在的“黑箱”问题。传统的材料研究高度依赖专家知识，虽然有助于物理理解和提出假设，但在预测精度和效率上存在局限。随着实验和计算工具的发展，数据量剧增，超出了人类专家的处理能力，因此机器学习成为加速材料研发的有力工具。然而，最先进的ML模型（如DNNs）在提供卓越预测精度的同时，往往缺乏可解释性，这阻碍了科学家理解模型内部的因果机制、获取可操作的见解、产生新的科学假说，也影响了科学家对模型的信任。XAI作为一个新兴的研究领域，致力于开发一系列技术来解释复杂ML模型的决策过程。本文的目标正是弥合XAI与材料科学之间的鸿沟，为材料科学家在构建预测模型时，提供除精度之外的可解释性工具。

主要观点阐述

第一，厘清可解释性的核心概念与范畴。 文章首先强调了在材料科学语境下明确定义“解释”含义的重要性。作者指出，可解释性并非一个非黑即白的属性，而是存在不同层次和范围。他们借鉴了Lipton提出的三个层次：可模拟性（整个模型易于人类理解）、可分解性（模型部分组件可解释）和算法可解释性（学习算法本身简单易懂）。同时，解释可分为事后解释（post-hoc）和事前解释（ante-hoc）。事后解释通过外部数据或代理模型提供决策层面的解释，更具实用性；事前解释则试图从模型层面理解其整体工作逻辑，更具理论性。解释的范畴可以是全局的（针对整个模型和输入空间）或局部的（针对模型的特定部分或输入空间的特定实例）。作者为材料科学应用提出了基础定义：一个模型如果是“透明的”，意味着其所有组件都易于理解；如果是“内在可解释的”，则意味着其部分组件（如函数形式、参数）是明确可理解或具有物理基础的；对于一个非透明的“黑箱”模型，可以通过简化其逻辑或提供（数据）证据来“外在解释”它。这些概念的梳理为后续讨论奠定了清晰的基础。

第二，综述用于解释DNN模型处理的代表性XAI技术及其材料科学应用。 这是文章的核心部分，详细介绍了三种主要的事后解释方法，并辅以具体的研究案例。 1. 特征重要性（热力图）：这种方法通过回答“输入的哪些特征对输出贡献最大？”来解释模型的决策。对于图像或谱图数据，通常以热力图（或称显著图）的形式呈现。文章引用了两个典型案例： * Kondo等人（2017）：他们使用卷积神经网络（CNN）从图像质量（IQ）图中预测钇稳定氧化锆（YSZ）的离子电导率。通过类激活映射（Class Activation Map, CAM）技术生成热力图，发现CNN将空隙识别为低电导率的特征，将平坦无缺陷区域识别为高电导率的特征。这一解释与实验已知的“电导率随烧结密度降低而下降”的物理规律一致，从而增强了研究者对CNN模型的信任，并帮助确定了材料表征的最佳代表性体积元尺寸。 * Oviedo等人（2019）：他们利用CNN根据X射线衍射（XRD）谱图预测薄膜材料的空间群。通过CAM热力图分析模型误分类的原因，发现误分类样本的热力图更接近于其被误判类别的平均热力图，而非其真实类别的。这帮助研究者识别出数据集中存在的类别不平衡和样品中相混合的问题，进而提出了改进数据收集过程的建议。 文章还指出，除了CAM，还有引导反向传播（Guided Backpropagation）、积分梯度（Integrated Gradients）、分层相关性传播（Layer-wise Relevance Propagation）等多种生成热力图的技术。此外，模型无关的解释技术如LIME和SHAP也可用于解释DNNs。 2. 基于实例的解释：通过展示具有说明性的数据实例来解释模型推理。这种方法有助于评估模型在数据分布变化时的鲁棒性。 * Zhong等人（2021）的研究展示了扫描电子显微镜（SEM）图像强度变化（由仪器设置引起）如何导致材料极限抗压强度预测的系统性偏差。即使进行了图像归一化，较暗的图像仍被一致地预测为具有更高的强度值。这个例子凸显了仅靠测试精度不足以全面评估模型可靠性，理解数据实例的分布至关重要。 * Kailkhura等人（2019）设计了一个通用框架，通过引用训练数据中与待预测新化合物高度相似的实例来解释新化合物的预测结果。 * Kim等人（2016）提出的MMD-critic技术可以高效识别数据集中的“原型”（代表性实例）和“批评点”（异常实例），有助于数据清洗和理解。 3. 代理模型：通过构建行为与原始黑箱模型相似但更易于解释的简单模型（如决策树、解析方程）来进行解释。 * Raccuglia等人（2016）：在预测无机-有机杂化材料合成反应成功率的任务中，他们先训练了一个高精度的支持向量机（SVM），然后构建了一个C4.5决策树作为其代理模型。通过分析决策树中成功反应聚集的叶节点及其路径，研究者发现了先前未知的、促进反应成功的条件参数（如胺的性质、反应物类型），从而生成了可验证的新化学假说。 * 文章还提到，材料科学家对推导简单解析方程有浓厚兴趣。机器学习可以辅助这一过程：通过特征选择或降维确定相关状态变量；使用Eureqa或SISSO等工具自动筛选函数形式；通过ML模型预测或最小二乘拟合确定系数。Rovinelli等人（2018）的工作是一个例子，他们利用贝叶斯网络识别相关特征，并用Eureqa搜索功能形式，最终得到了一个性能优于传统疲劳度量指标的简单解析方程。

第三，综述用于解释DNN模型内部表征的XAI技术。 这部分关注理解DNN模型组件（如神经元、滤波器、层）学习到了什么知识或概念。 1. 参数与激活检查：直接检查网络参数或中间层输出（激活）。 * Cecen等人（2018）通过分析一个用于预测合成三维高对比度复合材料有效弹性属性的3D CNN的卷积滤波器，发现这些滤波器权重与经典的空间关联统计理论相关联，可视化了滤波器学习到的材料结构模式，并证明了重要滤波器在不同交叉验证折次中稳定出现。 * Jha等人（2018）开发的ElemNet网络仅从元素成分预测材料性质。他们通过主成分分析（PCA）可视化网络中间层的激活，发现网络层次化地学习了化学信息：早期层学习元素的存在，后期层学习元素间的相互作用（如电荷平衡）。 2. 概念可视化：通过找到能高度激活特定网络组件的“原型”输入来可视化该组件学习到的概念。常用技术是激活最大化（Activation Maximization）。 * Ling等人（2017）在微结构分类任务中，使用ImageNet预训练的VGG16网络提取纹理特征。他们通过检查随机森林模型确定重要CNN滤波器，并利用激活最大化生成这些滤波器的原型图像。这些合成图像抽象出了输入微结构中的关键纹理模式，有助于理解结构-性能关系。 3. 可迁移性测试：通过将在一个任务上训练好的网络组件（如CNN层）用于另一个不同任务的特征提取，来间接验证其学习到的表征是否具有通用性。这类似于“零知识证明”。Ling等人（2017）和Kitahara等人（2020）的工作都成功使用了在自然图像上预训练的VGG16网络来提取微结构图像的特征，并在分类任务中取得了高精度，这表明预训练CNN层捕捉到了图像的关键通用特征。

第四，探讨设计具有内在可解释性的DNN模型（事前解释）的途径。 文章指出，除了事后解释，也可以通过模型设计实现一定程度的先天可解释性。 1. 具有可解释处理/表征的模型：Transformer模型是一个典型例子，其核心的自注意力（Self-Attention）机制本质上是可解释的。Wang等人（2021）提出的Crabnet（Compositionally Restricted Attention-Based Network）基于Transformer架构，仅从化学式预测材料性质，并能提供元素重要性热力图，揭示了化学见解（例如，某个注意力头关注常见的n型掺杂剂）。 2. 基于领域知识的设计：将材料科学领域知识融入模型架构设计。例如，SchNet网络专门为原子尺度系统设计，其原子嵌入层和基于连续卷积的交互块设计受到了原子作为基本单元以及原子间相互作用重要性等物理知识的启发，使其对材料科学家而言更具可解释性。物理信息神经网络（Physics-Informed Neural Networks, PINNs）也属于此类。 3. 产生可解释的输出：即使模型内部处理复杂，但其输出本身是可解释的。例如，Holstad等人（2018）使用稀疏长短期记忆（LSTM）自编码器将铁电畴壁输运行为的I-V谱测量解耦为三个分量，分别对应两个本征信号和一个外接触点传导信号，从而帮助分析物理问题。Liu等人（2022）训练的属性编辑生成对抗网络（AttGAN）可以根据指定的微结构属性（如粒径、孔隙率）修改SEM图像，生成合成图像。将这些合成图像输入由实验数据训练的性质预测模型，其预测结果与材料知识（如霍尔-佩奇关系）相符，从而解释了抽象属性对性能的影响。

第五，强调解释评估的必要性与核心原则。 文章明确指出，不应盲目信任解释，尤其是事后解释可能并不忠实于模型的真实决策逻辑。作者引用了Adebayo等人（2018）的研究，该研究通过模型参数随机化和数据标签随机化实验，证明了一些流行的CNN热力图解释技术严重依赖于模型架构先验，而非模型实际学习到的内容，因此不能用于模型调试等目的。 文章提出了评估解释质量的四个核心属性：1) 有用性：解释应服务于其预定目标，例如，被识别为重要的特征应确实影响预测；2) 鲁棒性：对输入数据的微小扰动，解释应保持稳定；3) 敏感性：解释应对数据和模型的非平凡变化敏感，避免出现像Adebayo实验中那样的不期望的“不变性”；4) 简洁性：在多个解释可用时，更简单的解释应被优先考虑。评估应尽可能在任务简化、真实情况明确的场景下进行。

第六，指出材料科学中应用XAI面临的挑战与机遇。 文章最后总结了几个关键挑战与相应机遇： 1. 缺乏明确基准事实的挑战：许多XAI技术为自然数据设计，其对象具有明确部分（如鸟的头、翅膀）。材料数据通常缺乏这种明确性。机遇在于需要材料科学家、计算科学家和ML科学家合作，将抽象的领域知识固化为明确形式（方程、规则、视觉特征），并利用这些知识来构建或评估解释。Liu等人的AttGAN工作是一个良好范例。 2. 解释评估的挑战：目前许多材料XAI研究缺乏对解释的严谨评估。机遇在于需要：a) 建立形式化的“健全性检查”来比较同类解释；b) 设计定制化的评估流程；c) 引入更多人类交互进行灵活评估。 3. 模型与解释行为失当的挑战：即使遵循了正确的训练流程，ML模型和XAI解释也可能表现出非逻辑行为。机遇在于采用对抗训练等先进技术可以迫使模型更好地利用其学习到的表征，从而提升解释质量，如Loveland等人（2021）在图神经网络（GNN）分子分类任务中所展示的。 4. 实践传播与实现的挑战：XAI对材料科学界而言仍较新。机遇在于开发系统性的教程、案例以及专门针对材料科学问题优化的综合性代码库，以降低使用门槛，促进XAI的广泛应用。 此外，文章还简要提及了XAI并非实现可信ML的唯一途径，物理信息机器学习、不确定性量化以及数据/模型可视化等都是相辅相成的重要研究方向。

论文的意义与价值 本文是一篇系统性强、内容全面的指南性综述，具有重要的学术价值。它不仅为材料科学研究者清晰地梳理了XAI领域的关键概念和技术分类，还通过大量来自材料科学各子领域（如微结构分析、光谱分析、原子尺度模拟、合成预测）的具体、前沿的研究案例，生动展示了XAI技术如何实际地帮助理解模型、诊断错误、发现新知识和增强信任。文章特别强调了解释评估的重要性，并指出了当前材料XAI应用中的主要挑战和未来方向，对推动可解释、可信赖的机器学习在材料科学中的健康发展具有重要的指导意义。该文有助于材料科学家在利用强大机器学习工具的同时，保持科学探索所必需的严谨性、洞察力和批判性思维。