基于多模态数据挖掘构建双相钢成分-组织-性能的定量关系

本研究的主要作者为任达、王晨冲（通讯作者）、魏晓璐、赖庆全和许伟（通讯作者）。其中，任达、王晨冲、魏晓璐和许伟均来自东北大学轧制技术及连轧自动化国家重点实验室，赖庆全来自南京工业大学轻质材料重点实验室。该研究发表于Acta Materialia期刊第252卷（2023年），在线发表于2023年4月17日。

这项研究隶属于材料科学与工程领域，特别是材料基因组学（Materials Genome, MG）和集成计算材料工程（Integrated Computational Materials Engineering, ICME）框架下的材料设计与性能预测分支。长期以来，建立成分、微观组织与宏观性能之间的定量关系是材料科学的核心课题。然而，无论是基于连续介质力学的平均场均质化模型（mean-field homogenization）或有限元方法（Finite Element Method, FEM），还是传统的机器学习（Machine Learning, ML）统计学习方法，都难以构建一个通用的、能够覆盖金属材料（尤其是具有复杂微观组织的钢种）广泛应力-应变关系的模型。传统的“数据到数据”模式依赖于人工从显微图像中提取关键组织特征（如相体积分数、形态），这不仅引入主观误差，也无法完整描述真实的微观组织信息。同时，这些方法通常需要预先判断并固定主导的物理机制，难以同时兼容多种不同的变形机制。深度学习方法（Deep Learning, DL）虽然能够实现“图像到数据”的直接预测，但过往研究多局限于单一模态（如单一类型的显微图像）或单一成分体系，模型的普适性和可解释性有限。因此，本研究旨在开发一个能够处理多模态数据（包括化学成分和多源显微组织图像）的深度学习框架，以准确预测双相钢的拉伸性能，并突破上述局限性。

本研究的详细工作流程可概括为以下几个关键步骤：数据库构建、深度学习模型设计与训练、性能预测与验证、以及模型可解释性分析与机制探讨。

第一，多模态数据库的构建与数据增强。 研究对象为三种不同锰（Mn）含量的双相钢，标记为DP-1Mn、DP-2Mn和DP-3Mn。通过三种不同的热处理工艺路径——淬火+临界区退火（Quenching + Intercritical Annealing, Q-IA）、临界区退火（Intercritical Annealing, IA）和奥氏体化+临界区退火（Austenitization + Intercritical Annealing, A-IA），并设置不同的临界区退火温度（650°C至850°C），制备出共23个具有不同马氏体体积分数、不同相形态（条状、等轴状、块状）和不同力学性能的双相钢样品。所有样品均通过电子背散射衍射（Electron Backscatter Diffraction, EBSD）表征，获取了三类多源显微组织图像：背散射电子衬度（Band Contrast, BC）图像（反映相衬度及形态）、相图（Phase）图像（区分铁素体与马氏体）和核平均取向差（Kernel Average Misorientation, KAM）图像（定性反映塑性变形均匀性）。拉伸性能通过单轴拉伸试验获得，输出目标为抗拉强度（Ultimate Tensile Strength, UTS）和均匀延伸率（Uniform Elongation, UEL）。 为了扩充数据量并保证模型的鲁棒性，研究对原始的EBSD图像进行了数据增强处理。通过裁剪、180度翻转和镜像操作，将每幅原始图像生成为多幅子图像。经过统计分析，确定了336×336像素的裁剪尺寸，能够在保证微观组织信息代表性的前提下提供足够的数据量。最终，构建了一个包含1084幅增强图像（来自23个原始样品）及其对应拉伸性能的多模态双相钢数据库。

第二，深度学习框架的设计与训练。 研究提出了一个名为CNN-DP的深度学习预测框架，其核心创新在于实现了多模态数据的“耦合”输入，而非简单的“拼接”。具体流程如下：首先，将化学成分（Mn含量，归一化后）通过“点乘”方法与每一幅显微组织图像（BC、Phase、KAM）的像素矩阵进行融合。这意味着每个像素点的数值都包含了成分信息的影响，从而在像素级别上实现了成分数据与图像信息的耦合。然后，将分别融合了成分信息的三类图像（BC、Phase、KAM）堆叠为9个通道（每类图像占3个通道），作为卷积神经网络（Convolutional Neural Network, CNN）的输入。 所使用的CNN模型是一个简化的经典视觉几何组（Visual Geometry Group, VGG）架构，包含多个卷积层、最大池化层、展平层和全连接层。为防止过拟合，模型中引入了丢弃法（Dropout）。采用平均绝对误差作为损失函数，使用Adam优化器进行模型训练。模型的目标是分别预测UTS和UEL。此外，为了提升模型的可解释性，研究在框架中集成了梯度加权类激活映射（Gradient-weighted Class Activation Mapping, Grad-CAM）算法，这是一种深度学习反向可视化技术，能够生成热图以显示输入图像中哪些区域对最终预测结果贡献最大。

第三，拉伸性能预测结果与模型验证。 经过多次训练和测试，CNN-DP模型在预测UTS和UEL方面均表现出色。对于测试集，UTS预测模型的平均决定系数高达96.2%，平均绝对误差仅为32.1 MPa；UEL预测模型的平均决定系数为95.3%，平均绝对误差为0.8%。这表明模型在大应力（600-1300 MPa）和大应变（2%-20%）范围内均实现了高精度预测。尤其值得注意的是，模型不仅对低强度、高延伸率的样品（马氏体分数<50%）预测准确，对高强度、低延伸率的样品（包括全马氏体组织）也保持了可接受的精度，这证明了模型强大的通用性。 为验证模型的扩展性，研究选取了两个未包含在原始数据库中的新样品进行验证。一个样品的马氏体体积分数为15.6%，低于原始数据库范围（18%-100%）；另一个为56.6%，在数据库范围内。模型对这两个样品的UTS和UEL预测误差均较小，表明该框架具有良好的外推能力，可被视为一个“通用架构”，只需用相关系统的多模态数据库重新训练参数，即可应用于其他合金体系。

第四，基于反向可视化的机制分析与多模态信息重要性验证。 研究利用Grad-CAM技术生成热图，成功“窥探”了深度学习模型内部的决策逻辑，显著提升了模型的可解释性。例如，对UTS预测模型的热图分析显示，热点区域高度集中在马氏体岛处，这与“马氏体是强度的主要贡献者”的传统物理冶金知识完全一致，验证了可视化方法的可靠性。更有价值的是，对UEL预测模型的热图分析揭示了不同相形态下的应变分布机制：对于A-IA工艺得到的块状马氏体组织，应变集中分布在铁素体基体中；而对于IA工艺得到的等轴状马氏体组织，应变则同时分布在铁素体和马氏体两相中。这一可视化结果与文献中通过数字图像相关技术实验观察到的应变分布规律相符，从而深化了对不同相形态下塑性变形机制的理解。 为了阐明多源显微图像整合的重要性，研究比较了使用单源、双源和三源图像作为输入的模型性能。结果表明，当同时使用BC、Phase和KAM三类图像作为输入时，模型预测误差最低。通过两个代表性样品的案例分析进一步说明：对于马氏体分数低、尺寸大的块状组织样品，BC图像（能清晰显示相分数和形态）至关重要；对于全马氏体样品，KAM图像（反映应变分布）的重要性显著上升。CNN-DP模型能够自动识别不同机制下各类图像的重要性权重，从而实现对多种机制的兼容，这是传统有限元等需要预先设定本构模型和参数的方法难以做到的。

第五，多模态数据耦合方法的优越性比较。 研究还将提出的多模态耦合方法与多种传统机器学习方法进行了系统对比。与传统统计学习方法（如支持向量回归、梯度提升回归树等）相比，CNN-DP模型避免了人工提取微观组织特征的主观性和信息损失，仅用23个样品就达到了更高的预测精度。与另一种常见的多模态深度学习方法（将数值数据通过神经元拼接至CNN的全连接层）相比，本研究的“点乘”耦合方法在数据形式的底层实现交互与信息共享，预测精度更优。此外，与现有的平均场力学模型相比，本研究的多模态模型在相似的性能预测范围内，使用了更少的样品数量却取得了相近甚至略优的预测精度，突显了利用原始图像信息的优势。

本研究得出的主要结论如下： 成功开发了一个基于多模态深度学习（DL）的通用框架，用于预测双相钢的拉伸性能。该框架在宽泛的成分和工艺条件下，仅用一组固定参数便建立了覆盖大应力-应变范围的成分-组织-性能定量关系。

本研究的价值与意义体现在： 1. 科学价值：提出了一种创新的多模态数据“耦合”分析范式，打破了传统机器学习对不同形式数据独立处理的策略。该方法不仅实现了高精度的性能预测，更重要的是通过反向可视化技术，将深度学习的“黑箱”转化为深化物理冶金机理认识的工具，为材料科学研究提供了新的方法论。 2. 技术应用价值：所构建的CNN-DP框架具有高度的通用性和扩展性，能够兼容不同成分、工艺和组织机制（从双相到全马氏体）。这为复杂钢铁体系乃至其他合金的成分-组织-性能关系高效、精准预测和逆向设计提供了有力的指导，加速了新材料的研发进程。

本研究的亮点在于： 1. 方法创新：首创了通过“点乘”实现化学成分与像素级显微图像信息耦合的多模态深度学习架构，有效挖掘了数据间深层次关联。 2. 通用性强：模型能够自动适应并整合多源显微图像信息，无需预先设定机制，即可实现对具有不同主导变形机制样品（从低马氏体含量双相钢到全马氏体钢）的准确预测。 3. 可解释性突破：系统应用Grad-CAM反向可视化技术，不仅验证了模型所学知识与传统理论的一致性，更揭示了传统实验方法难以直观获得的微观应变分布规律，极大地增强了深度学习模型在材料科学领域的可信度和指导意义。 4. 系统性验证：通过详尽的对比实验（单源/多源输入、不同耦合方式、与传统ML及力学模型对比），全面论证了所提出方法在多方面（精度、泛化性、数据利用效率）的优越性。