本研究由来自中国科学技术大学计算机科学与技术学院的刘胜材(Shengcai Liu)和南方科技大学计算机科学与工程系的唐珂(Ke Tang)、姚新(Xin Yao)合作完成。研究成果于2022年2月发表于IEEE Transactions on Cybernetics第52卷第2期784-795页。三位作者均是演化计算和智能优化领域的知名学者,其中唐珂教授曾获IEEE计算智能学会杰出早期职业奖,姚新教授则是IEEE Fellow、曾担任IEEE计算智能学会主席。
本研究属于自动化算法配置(Automatic Algorithm Configuration, AAC)领域,重点关注并行算法组合(Parallel Portfolio)的自动构建问题。传统算法配置方法(如ParamILS、SMAC等)依赖于一个基本假设:训练集能充分代表目标使用场景。然而在实际情况中,训练数据往往存在稀缺性(scarce)和偏差性(biased)的问题。
研究者们针对这一问题提出了创新解决方案——生成对抗求解器训练器(Generative Adversarial Solver Trainer, GAST)。该方法在布尔可满足性问题(SAT)和旅行商问题(TSP)两个经典优化问题上验证了其有效性。该研究的主要科学价值在于首次将实例生成与组合构建纳入统一的对抗过程,为数据稀缺/偏差场景下的自动求解器构建提供了新范式。
研究首先严格定义了k-组件并行组合c₁:k = (c₁,…,c_k):当解决一个问题实例时,所有组件求解器并行独立运行直至满足终止条件。性能评估采用惩罚平均运行时间(PAR-10)指标,其中未能在截止时间内求解的实例计为10倍截止时间。
GAST采用迭代结构,每个迭代包含两个关键阶段:
通过对抗生成机制动态扩展训练集: - 实例变异操作:基于现有实例通过交叉和变异生成新实例 - 实例评估:计算当前组合在新实例上的PAR-10作为”质量分数” - 实例选择:采用二元锦标赛选择保留具有挑战性的实例 - 特定领域变异策略: - TSP:采用可变长度交叉和均匀变异,允许不同规模实例重组 - SAT:基于SPIG技术进行结构保留的实例生成,σ参数随机采样增强多样性
研究在两个问题域设计了三组实验:
将GAST构建的组合与SAT竞赛金牌求解器(如pfolioUZK、plingeling-bbc)进行对比
在全部16个测试场景(8个TSP、8个SAT)中: - GAST构建的组合平均PAR-10显著优于基线方法(p<0.05) - 在小训练集场景(Small),性能提升幅度达30-45% - 在偏差训练集场景(Bias),性能优势更为明显
GAST构建的4组件组合: - 在SAT问题上超越人工设计的pfolioUZK - 在部分场景下媲美SAT’16金牌求解器plingeling-bbc - 仅使用基础求解器(如LKH、lingeling-ala)就达到了先进水平
作者指出了三个潜在发展方向: 1. 多样性保持机制:引入物种形成(speciation)或负相关搜索(negatively correlated search)增强组件协作 2. 理论基础研究:应用博弈论深入分析对抗过程的收敛性质 3. 通用实例度量:开发问题实例的相似性度量和特征空间表征方法