关于《Ensemble Adaptive Gated Multi-fidelity Neural Network for Bayesian Optimization: Application to Hydrofoil Design》的学术研究报告
本研究由来自上海交通大学船舶海洋与建筑工程学院计算船舶与海洋工程流体力学实验室（CMHL）的Passakorn Paladaechanan、Maokun Ye、Decheng Wan（通讯作者，邮箱：dcwan@sjtu.edu.cn），中南工程有限责任公司的Yao Zhong，以及德国汉堡工业大学流体动力学与船舶理论研究所（M8）的Moustafa Abdel-Maksoud共同完成。该研究成果于2025年10月25日被接受，并于2025年10月30日在线发表于Elsevier旗下的学术期刊《Ocean Engineering》第343卷，文章编号为123314。
一、 学术背景与研究目的
本研究隶属于计算工程设计与流体力学交叉领域，核心关注多保真度代理模型和贝叶斯优化。在海洋工程、航空航天等领域的复杂装备设计中，高保真度计算流体动力学模拟是获得准确性能预测的关键，但其巨大的计算成本使得直接进行迭代优化（例如，寻找最佳形状参数）变得不可行。为了缓解这一限制，代理模型通过有限的观测点来近似昂贵的真实目标函数，从而使得设计空间探索和优化变得可行。贝叶斯优化（Bayesian Optimization, BO）作为一种高效的全局优化框架，正是依赖一个能够提供预测不确定性的代理模型来权衡“探索”未知区域和“利用”已知好区域。当存在廉价但精度较低的低保真度模型（如快速但简化的XFOIL分析）和昂贵但精度高的高保真度模型（如精细的CFD仿真）时，如何构建一个能够有效融合多源信息、且在稀疏高保真数据下仍保持鲁棒性的多保真度代理模型，成为降低总体优化成本的关键挑战。
现有的多保真度建模方法，如经典的协同克里金法，虽然能提供基于高斯过程的固有不确定性量化，但在处理高维、高度非线性问题时面临维数灾难和精度下降的问题。近年来，基于深度学习的方法展现出强大潜力，但主要挑战在于：1）简单混合不一致的保真度源可能导致“负迁移”，即低保真度信息的误导会损害高保真度模型的性能；2）缺乏能够自适应融合不同保真度信息、并具备可靠不确定性量化能力的通用架构。
为此，本研究旨在开发一种新颖的、通用目的的多保真度代理建模方法，它能无缝集成到贝叶斯优化框架中，并在高保真数据稀疏的情况下保持鲁棒性。具体目标是提出自适应门控多保真度神经网络，通过一种深度混合专家门控网络动态调整不同专家子网络的贡献，并结合集成学习来改进预测不确定性估计，最终将其应用于一个真实的水翼优化设计问题中。
二、 研究流程详述
本研究的工作流程系统而严谨，可分为以下几个主要步骤：
步骤一：提出并构建AGMF-Net核心架构。 本研究提出的自适应门控多保真度神经网络是在现有工作Ada2MF的基础上进行的重大改进。其核心架构包含三个专门的专家子网络：线性专家、非线性专家和残差专家。线性专家直接处理输入设计变量和低保真度预测值的组合，旨在捕捉简单的线性关联。非线性专家是一个多层感知机，用于捕获低保真度与高保真度之间复杂的非线性关系。残差专家则是一个独立的MLP，直接学习高保真度目标与低保真度预测之间的差值。AGMF-Net的关键创新在于其深度混合专家门控网络。它取代了Ada2MF中全局固定的、与输入无关的权重系数（tanh(αi)），而是根据具体的输入点（x, fl(x)）动态生成一组归一化的、非负的权重w(x) = softmax(W(x, fl(x)))。这使得模型能够根据局部区域低保真度与高保真度的相关性，自适应地调整三个专家的贡献比例：在相关性高的区域，线性/非线性专家获得更高权重；在低保真度存在显著偏差的区域，权重则更多地分配给残差专家进行修正。这种输入相关的“软”门控机制旨在提升模型的鲁棒性、可解释性，并能与集成学习更好地协同工作。
步骤二：训练策略与不确定性量化。 模型的训练采用了自适应快速加权损失函数。该损失由三部分MSE损失构成：1）L_hf：训练整体混合预测与高保真目标一致；2）L_lh：对齐使用低保真信息（x, fl(x)）的线性和非线性专家，以充分利用低保真度的有益结构；3）L_r：训练残差专家学习高保真与低保真之间的偏差。这三个损失项通过一个可学习的、基于各项损失相对改进速度动态调整的权重向量进行加权求和。这种策略旨在自动平衡不同学习信号，当低保真信息在某区域具有误导性时，降低其权重，增强残差修正项的权重，从而有效缓解负迁移。为了提供可靠的不确定性量化，研究采用了深度集成方法。通过训练多个独立初始化的AGMF-Net实例，并将它们的预测方差作为不确定性的估计，从而规避了贝叶斯神经网络训练复杂的问题。该集成不确定性将直接用于驱动贝叶斯优化中的采集函数。
步骤三：贝叶斯优化框架集成。 将构建的AGMF-Net代理模型嵌入到一个完整的贝叶斯优化工作流中。优化循环从初始采样（如拉丁超立方采样）开始，使用获得的高低保真数据训练AGMF-Net集成模型。随后，优化器（本研究使用L-BFGS-B）通过最大化对数期望改进采集函数来选择下一个最具潜力的候选设计点。LogEI在传统期望改进的基础上进行了数值稳定的对数变换处理，能有效平衡探索与利用，并避免在双精度计算中出现的数值下溢或抵消问题。评估新点后，数据集被更新，代理模型被重新训练，循环往复直至满足停止条件（如达到评估预算或预测最优点的相对误差低于阈值）。
步骤四：在数学基准函数上评估性能。 为了系统验证AGMF-Net的有效性，研究选取了三个经典的、复杂度递增的测试函数进行对比实验：一维Forrester函数、二维修正Branin函数和三维Hartmann-3D函数。每个函数都定义了相应的低保真度版本以模拟真实的多保真度场景。对比的基线模型包括：单保真度模型（Kriging, MLP）、经典多保真度模型（Co-Kriging）、以及先进的多保真度神经网络模型（MFNN, Ada2MF）。实验设置严格统一：在初始化阶段使用少量高保真样本，然后进行多轮贝叶斯优化迭代。在每个迭代步骤，记录所有模型在整个测试点集上的均方根误差和决定系数R²（衡量全局预测精度），以及在已知全局最优点处的平均绝对相对误差（衡量局部优化精度）。详细的神经网络超参数（如层数、神经元数、激活函数、训练周期等）均在论文表格中列出，确保了实验的可复现性和公平性。
步骤五：应用于水翼设计优化。 最后，研究将AGMF-Net框架应用于一个实际的工程优化问题：优化NACA 66-012型水翼的升阻比（CL/CD）。设计变量为位于42%弦长处的最大弯度系数。研究构建了一个两保真度体系：低保真度模型采用XFOIL程序进行快速粘性分析；高保真度模型则采用非定常雷诺平均纳维-斯托克斯方程结合SST γ-Reθ转捩模型的精细CFD仿真。首先，用少量CFD样本和较多样本的XFOIL数据训练AGMF-Net。然后，启动贝叶斯优化流程。经过两轮主动采样（根据LogEI选择新的弯度系数进行CFD评估）后，代理模型得以充分优化。最后，在最终的AGMF-Net代理模型上执行优化，得到预测的最优设计，并通过一次最终的高保真CFD仿真来验证其性能提升。
三、 主要研究结果
1. 数学基准函数实验结果： 在Forrester函数的优化中，AGMF-Net在初始阶段即展现出最高的R²值（0.8393），表明其预测与真实函数形状相关性最强。尽管Co-Kriging在初始的全局RMSE上表现最好，但AGMF-Net在最优点的MARE（1.1554）上已具备竞争力。经过一轮主动采样后，AGMF-Net和MFNN在优化精度上提升最快，AGMF-Net的MARE降至0.0308，率先满足5%的停止阈值。图9的分解图清晰地展示了AGMF-Net相比Ada2MF的优势：其输入相关的软权重（下图）在函数不同区域平滑变化，引导模型形成三个专家预测的凸组合；而上图的预测曲线显示，即使在只有3-4个高保真样本的稀疏数据下，AGMF-Net也能比使用固定权重的Ada2MF更准确地捕捉高度非线性区域（如x>0.85）的函数形态。
在修正Branin函数的二维优化中，AGMF-Net在初始化阶段就取得了最低的全局RMSE（0.0945）和最高的R²（0.9195），同时最优点的MARE（0.1206）也是所有模型中最小的，证明了其自适应门控在稀疏高维数据下的快速适应能力。随着优化迭代，MFNN在全局RMSE和R²上表现出最强的降低趋势，而AGMF-Net则持续保持着最优点的最佳定位精度，在第4轮迭代后取得了最低的MARE（0.0425）。Co-Kriging在此二维问题上表现全面落后，突显了神经网络方法在复杂非线性景观上的优势。
在更具挑战性的Hartmann-3D函数优化中，AGMF-Net的优势更为明显。在整个9轮迭代过程中，它始终在全局RMSE和R²上领先，并且是唯一一个在迭代结束时最优点的MARE（0.0419）低于5%阈值的模型。Ada2MF表现次之，但始终与AGMF-Net存在差距。这系列结果强有力地证实了：用输入相关的软门控取代固定权重，能使模型更有效地利用低保真信号，同时通过残差路径进行精确修正，从而在稀疏高保真采样下实现卓越性能。
2. 水翼优化应用结果： CFD与XFOIL的验证表明，CFD对升力系数的预测误差小于2%，但阻力系数存在约18.5%的高估，导致初始设计的升阻比预测误差为13.9%。尽管如此，AGMF-Net引导的贝叶斯优化流程成功地识别出了一个有效的设计改进。如图11所示，采集函数LogEI在迭代过程中迅速将采样点集中在弯度系数约为0.022-0.025的区域内。优化得到的最终设计（最大弯度系数0.0239）与基线设计相比，性能提升显著：升力系数CL增加了93.6%，阻力系数CD增加了36.7%，而关键的效率指标升阻比CL/CD提升了41.6%，从37.06提高至52.49。图12的压力和速度场对比揭示了性能提升的物理机制：优化后的水翼在上表面产生了更强的低压区和流动加速，从而在不引发边界层分离的情况下显著增加了升力。图13的几何对比显示，这一显著的性能提升仅源于对原始翼型厚度分布保持不变前提下，一个极其细微的、正弯度的增加（最大弯度0.0239）。
四、 研究结论与价值
本研究的结论是成功开发并验证了AGMF-Net——一个集成自适应门控与集成不确定性量化的新型多保真度神经网络，并将其无缝嵌入贝叶斯优化框架。该模型在数学基准和实际工程问题上均证明：其能够利用稀疏的高保真数据，结合丰富的低保真信息，实现快速、精确的全局优化。AGMF-Net通过深度混合专家门控实现了对低保真度信号的上下文感知融合，通过深度集成提供了可扩展的、实用的不确定性量化，从而有效解决了多保真度建模中的负迁移和不确定性估计难题。
本研究的科学价值在于为多保真度代理建模领域贡献了一个兼具表达能力强、自适应性强和不确定性感知的通用架构，深化了深度学习与贝叶斯优化结合的理论与实践。其应用价值尤为突出，在仅进行数次（本研究为3次初始+2次主动采样=5次）昂贵高保真CFD评估的情况下，即可引导发现使水翼升阻比提升41.6%的优化设计，这为计算成本高昂的仿真驱动设计（如船舶、航空器、汽车等外形优化）提供了一条极具潜力的加速路径，能显著缩短研发周期、降低计算成本。
五、 研究亮点
六、 其他有价值的内容
论文附录提供了详实的方法论背景，包括贝叶斯优化流程的完整数学描述、LogEI采集函数的数值稳定实现细节、以及所有对比基线模型（Kriging, MLP, Co-Kriging, MFNN）的公式化定义和评估指标（RMSE, R², MARE）的明确定义。这大大增强了论文的可复现性和教学价值，为读者全面理解和使用该方法提供了便利。此外，论文对所有实验的超参数设置都以表格形式完整公开，体现了严谨的科研态度。