分享自:

基于采样和聚类的生成对抗网络神经架构搜索算法

期刊:IEEE Transactions on Emerging Topics in Computational IntelligenceDOI:10.1109/TETCI.2025.3547611

本文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:

主要作者及机构
该研究由Qingling Zhu、Yeming Yang、Songbai Liu、Qiuzhen Lin和Kay Chen Tan共同完成。Qingling Zhu、Yeming Yang、Songbai Liu和Qiuzhen Lin来自深圳大学计算机科学与软件工程学院,Kay Chen Tan则来自香港理工大学数据科学与人工智能系。该研究于2025年发表在IEEE Transactions on Emerging Topics in Computational Intelligence期刊上。

学术背景
生成对抗网络(Generative Adversarial Networks, GANs)在图像合成、图像翻译、图像编辑和超分辨率等人工智能任务中取得了显著成功。然而,GANs的训练过程存在不稳定性问题,且其网络架构设计通常需要大量领域知识和耗时的实验。为了应对这些问题,神经架构搜索(Neural Architecture Search, NAS)技术应运而生,它可以自动探索不同的网络架构,从而提升网络性能和泛化能力。然而,NAS通常面临计算成本高、搜索时间长和搜索结果不稳定的挑战。本研究旨在通过提出一种基于采样和聚类的神经架构搜索算法(SCGAN),来解决这些挑战,提高搜索效率和生成质量。

研究目标
本研究的主要目标是开发一种高效的神经架构搜索算法,能够在GANs的庞大搜索空间中找到高质量的架构,同时减少搜索时间和提高搜索稳定性。具体目标包括:
1. 提出一种约束采样策略,限制架构的参数容量,以提高搜索效率。
2. 设计一种聚类选择策略,通过分解选择和层次聚类机制提高搜索稳定性。
3. 在CIFAR-10和STL-10数据集上验证SCGAN的性能,并与现有的NAS-GAN方法进行比较。

研究流程
研究流程包括以下几个步骤:
1. 初始化:从生成器的超网络(supernet)中随机采样GAN架构,并计算其参数容量。如果参数容量在合理范围内,则将其加入初始种群。
2. 超网络训练:使用单路径一次性训练技术(Single Path One-Shot, SPOS)对种群中的GAN架构进行训练,并更新超网络的权重。
3. 繁殖:通过交叉和变异操作生成新的子代架构,并确保其参数容量符合约束条件。
4. 选择:使用多目标聚类选择策略(Multi-objective Clustering Selection, MCS)对父代和子代种群进行评估,选择性能最优的GAN架构。

研究对象与样本量
研究在CIFAR-10和STL-10数据集上进行。CIFAR-10包含50,000张训练图像和10,000张测试图像,分辨率为32×32。STL-10包含100,500张图像,分辨率为96×96,研究中将其调整为48×48。搜索空间包含约10^15种可能的网络架构,搜索过程中每代种群包含32个个体,训练和评估时种群规模分别为32和64。

实验方法
1. 约束采样策略(PCS):计算每个生成器架构的参数容量,并丢弃超出合理范围的架构。
2. 聚类选择策略(MCS):通过分解选择和层次聚类机制对种群进行评估和选择。
3. 单路径一次性训练技术(SPOS):用于更新生成器超网络的权重,确保训练过程的稳定性。

数据分析
研究使用以下指标评估GAN架构的性能:
1. Inception Score (IS):评估生成图像的清晰度和多样性,值越高表示性能越好。
2. Fréchet Inception Distance (FID):评估生成图像与真实图像在特征空间中的距离,值越低表示性能越好。
3. FLOPs:评估模型的计算复杂度,值越低表示计算成本越低。
4. 参数数量:评估模型的参数规模,值越低表示模型越紧凑。

主要结果
1. 搜索效率:SCGAN仅需0.4 GPU天即可在包含约10^15种网络架构的搜索空间中找到高质量的GAN架构。
2. 生成质量:在CIFAR-10数据集上,SCGAN找到的GAN架构的IS得分为9.68±0.06,FID得分为5.54;在STL-10数据集上,IS得分为12.12±0.13,FID得分为12.54。
3. 模型紧凑性:SCGAN找到的架构参数数量仅为MMD-AdvNAS的38.3%和EWSGAN的57.6%,表明其具有更高的计算效率。

结论
本研究提出的SCGAN算法通过约束采样和聚类选择策略,显著提高了GAN架构搜索的效率和稳定性。实验结果表明,SCGAN在CIFAR-10和STL-10数据集上均优于现有的NAS-GAN方法,具有较高的生成质量和计算效率。该研究为GAN架构搜索提供了一种高效的解决方案,具有重要的科学和应用价值。

研究亮点
1. 新颖的约束采样策略:通过限制架构参数容量,提高了搜索效率。
2. 创新的聚类选择策略:通过分解选择和层次聚类机制,增强了搜索稳定性。
3. 高效的搜索性能:在庞大搜索空间中仅需0.4 GPU天即可找到高质量的GAN架构。
4. 广泛的应用前景:SCGAN在图像生成任务中表现出色,可应用于图像合成、图像翻译等领域。

其他有价值的内容
研究还对约束采样参数c进行了敏感性分析,发现c=2.0和c=2.5时模型性能最佳。此外,研究详细分析了SCGAN找到的最优生成器架构,发现其倾向于使用双线性上采样操作和3×3卷积操作,这为未来的GAN架构设计提供了有价值的参考。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com