分享自:

数据驱动的进化迁移优化在动态环境中的昂贵问题解决方案

期刊:IEEE Transactions on Evolutionary ComputationDOI:10.1109/TEVC.2023.3307244

本文档属于类型a,即报告单篇原创研究的学术论文。以下是针对该论文的详细学术报告:


作者及机构
该研究由电子科技大学计算机科学与工程学院的Ke Li(IEEE高级会员)、国防科技创新研究院的Renzhi Chen,以及南方科技大学计算机科学与工程系的Xin Yao(IEEE会士)合作完成。研究成果发表于2024年10月的《IEEE Transactions on Evolutionary Computation》期刊第28卷第5期,标题为《A Data-Driven Evolutionary Transfer Optimization for Expensive Problems in Dynamic Environments》。


学术背景
本研究的核心科学领域为动态优化问题(Dynamic Optimization Problems, DOPs)数据驱动的进化计算(Data-Driven Evolutionary Computation)。现实中的许多优化问题(如软件系统动态配置、机器人路径规划)具有目标函数计算成本高且环境随时间动态变化的特性。传统进化算法(Evolutionary Algorithms, EAs)假设目标函数评估(Function Evaluations, FEs)成本低廉,但这一假设在真实场景中不成立。尽管基于高斯过程(Gaussian Process, GP)的代理模型辅助优化方法(如贝叶斯优化/Bayesian Optimization)在静态环境中表现优异,但其在动态环境中的应用仍面临两大挑战:
1. 冷启动问题:环境变化后需重新初始化优化过程,效率低下;
2. 历史数据利用不足:动态环境中旧数据可能误导当前模型训练。

本研究旨在提出一种数据驱动的进化迁移优化框架(DETO),通过改进的多输出高斯过程(Multioutput Gaussian Process, MOGP)和自适应知识迁移机制,解决昂贵动态优化问题。


研究流程与方法
1. 分层多输出高斯过程(HMOGP)构建
- 问题:传统MOGP超参数数量随任务数立方增长,易导致小数据下欠拟合。
- 改进:提出分层MOGP(HMOGP),将任务相关超参数的块矩阵替换为掩码块矩阵(Masked Block Matrices),使超参数数量线性增长。
- 验证:在动态峰值基准问题(Moving Peaks Benchmark, MPB)上对比HMOGP与原始MOGP,证明前者在时间步增长时仍能保持建模精度(如图11所示)。

  1. 自适应源任务选择机制

    • 步骤
      (1) 为每个历史时间步构建独立GP模型;
      (2) 对模型超参数聚类(如k-means,k=3/5/7);
      (3) 选择最接近簇心的代表性任务数据用于HMOGP训练。
    • 优势:避免过拟合,提高知识迁移效率(如图13显示,k=5时效果最优)。
  2. 热启动初始化策略

    • 流程
      (1) 从历史GP模型中提取局部最优解;
      (2) 基于预测目标值排序并剔除相似解(阈值ε=10⁻²×搜索空间范围);
      (3) 构建增广数据集以初始化新任务。
    • 作用:减少冷启动依赖,80%案例中初始化效率优于随机采样(表IV)。
  3. 混合进化算法优化采集函数

    • 设计:结合差分进化(Differential Evolution, DE)与随机梯度下降(SGD)的混合优化器,平衡全局探索与局部开发。
    • 创新点:动态调整局部搜索规模κ,根据解改进程度自适应增减(算法2步骤4.2)。
  4. 实验验证

    • 基准测试:在MPB和广义MPB(GMPB)上对比DETO与9种先进算法(如TBO、RGPE、TV-GP-UCB);
    • 评估指标:离线误差(ε̄f)和平均最优误差(ε̄t);
    • 结果:DETO在所有维度(n=3/5/8/10)和变化强度(h̃=1.0/s̃=1.0 vs. h̃=5.0/s̃=7.0)下均显著优于基线(Wilcoxon检验p<0.05,A12效应量>0.71)。

主要结果
1. 性能优势:在100时间步的MPB测试中,DETO的ε̄f比第二优算法(TBO)降低23%~41%,且计算资源消耗减少50%(图7-8)。
2. 模块贡献验证
- HMOGP使模型拟合误差降低58%(对比传统LMG);
- 热启动机制将初始收敛速度提升3倍(图14);
- 自适应源选择避免负迁移(如动态大变化场景下ρt)。
3. 实际应用:在MNIST手写数字动态旋转分类任务中,DETO优化MLP超参数,分类精度比随机重启贝叶斯优化(RBO)高15%。


结论与价值
1. 科学价值
- 首次将分层建模与进化计算结合用于动态昂贵优化;
- 提出可扩展的迁移学习框架,解决数据稀缺环境下的知识复用问题。
2. 应用价值:适用于实时系统调参、动态工程设计等需快速适应环境变化的场景。


研究亮点
1. 方法创新:HMOGP通过超参数压缩克服动态任务下的欠拟合问题;
2. 技术融合:整合进化算法、贝叶斯优化与迁移学习,实现协同优化;
3. 实证全面性:覆盖合成基准与真实案例,验证算法鲁棒性。


其他发现
1. 计算效率边界:在相同CPU时间限制下,DETO的FE利用率是RBO的2倍(图19);
2. 局限性:超参数优化对高维(n>10)或多峰值(m>50)问题仍需改进(图24建议引入局部代理模型聚类)。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com