基于PSO的演化深度卷积神经网络用于图像分类的单目标及多目标方法综述

本文档是学术论文，标题为“Particle Swarm Optimization for Evolving Deep Convolutional Neural Networks for Image Classification: Single- and Multi-objective Approaches”，作者为Bin Wang、Bing Xue以及Mengjie Zhang，隶属于Victoria University of Wellington（新西兰惠灵顿维多利亚大学）工程与计算科学学院。本论文发表于由Springer Nature Singapore出版的《Deep Neural Evolution》文集中。

学术背景

深度卷积神经网络（Convolutional Neural Networks, CNNs）被广泛视为解决图像分类问题的最有效方法之一。然而，目前的CNN结构主要依赖人类专家的手动设计，这不但耗时巨大，还需要对问题领域及CNN原理具备高度专业知识。同时，固定的CNN架构并不能满足各类任务的需求，每一个特定任务需要特定的架构调整，这极大地增加了设计和优化CNN的工作量。

近年来，为了减轻手动设计CNN架构的复杂性，进化计算（Evolutionary Computation, EC）被用来实现CNN架构的自动化设计。例如，谷歌提出的“Large-scale Evolution of Image Classifiers (LEIC)”方法通过遗传算法（Genetic Algorithm, GA）自动演化CNN。然而，由于高计算成本，这些方法在大规模数据集上的学习速度通常较慢，难以实际应用。

针对这些挑战，本文探索了另一种进化计算方法——粒子群优化（Particle Swarm Optimization, PSO），并提出了利用PSO演化CNN架构的新方法，强调自动化设计和高效运行。论文还进一步扩展PSO，研究了包括分类准确率和计算成本在内的多目标优化问题。

研究目标

论文的主要目标分为两个方面：

1. 开发PSO方法实现CNN架构的自动化设计：

   • 提出一种新的粒子编码策略，用于有效编码CNN层的配置。
   • 打破传统PSO固定粒子长度的限制，设计一种伪变量长度编码方案，通过引入“Disabled Layer”伪装无效层。
   • 通过使用代理数据集（Surrogate Dataset）显著加速进化学习过程。

2. 开发多目标优化方法以平衡分类精度与推理延迟：

   • 改善CNN的参数调优能力，特别是DenseNet架构中的各类超参数，包括每个Dense Block的增长率和层数。
   • 设计PSO算法寻找最佳的Pareto前沿解集，让工业用户能够在分类性能和硬件资源之间找到最适合的解决方案。

研究方法与流程

单目标优化方法（IPPSO）

1. 粒子编码策略： 标准粒子编码方法难以适应可变性的CNN架构。论文提出了一种新的IP编码策略，受到网络协议IP地址的启发，通过用二进制字符表示CNN层的属性（如卷积层的过滤器大小、特征图数量等），并通过伪变量长度设计实现架构的灵活编码。

2. 伪变量长度实现： 引入名为“Disabled Layer”的占位层以解决PSO粒子长度固定的问题。IP地址的子网方式（CIDR表示法）被用来区分不同CNN层的类型（如卷积层、池化层、全连接层和被禁用层）。

3. 进化过程及适应度评估： PSO算法的进化包括初始化种群、速度与位置更新、适应度评估以及解码等步骤。适应度评估中，CNN通过代理数据集部分训练后被批量测试，其平均分类准确率用于作为适应度值。

4. 更新与选解： 采用传统PSO更新公式，但对每个粒子的粒子加速系数进行逐字节控制。此外，通过解码获得粒子的最佳个体。

多目标优化方法（MOCNN）

1. 优化目标： 设定分类精度和浮点计算量（Flops）为两个优化目标。PSO算法旨在同时最大化分类精度和最小化计算量。

2. 新编码策略： 以DenseNet为例，研究对象为每个Dense Block的层数和增长率。通过固定块数，将DenseNet超参数编码为一个固定长度的向量。

3. 种群初始化及适应度评估： 随机生成初始种群，结合随机数生成器，根据DenseNet的参数范围生成粒子的位置，并使用Adam优化器对CNN进行训练测试，其精度和Flops分别作为两个适应度。

4. OMOPSO方法： 使用OMOPSO算法进行Pareto最优解的搜索。OMOPSO结合拥挤距离排序和ε-Pareto支配机制，确保解集的多样性和优越性。

实验设计与结果

论文分别对单目标优化方法（IPPSO）与多目标优化方法（MOCNN）进行了实验：

1. 单目标优化实验：

   • 使用MNIST Basic（MB）、MNIST Rotated Digits with Background Images（MRDBI）和Convex Sets（CS）三种基准数据集对IPPSO方法进行了验证。
   • IPPSO在MRDBI上取得了最优分类效果（33.0%误差率），在MB和CS上表现也非常接近最优。

2. 多目标优化实验：

   • 在CIFAR-10数据集上对MOCNN方法进行了实验，Pareto前沿解表明分类精度与计算量之间存在显著的冲突，并通过调整种群大小和代数，验证了种群越大，Pareto解的性能覆盖越优。

3. 对比DenseNet： MOCNN实验显示，在分类精度上（95.51%）优于DenseNet-121（94.77%），且计算成本更低。

研究价值与总结

这项研究为自动化CNN架构设计提供了新的方法和工具：

1. 从理论和实践上证明了PSO方法的高效性与灵活性。目前使用GA方法进行CNN架构设计的局限性，可以通过PSO灵活可变长度的设计得以缓解。

2. 多目标优化的加入使得神经网络的工业应用更加现实，用户可以根据自身需求选择合适的Pareto非支配解。

3. 创新性的编码方式和优化策略为后续自动化机器学习（AutoML）任务奠定了重要研究基础，同时提供了一种通用化的进化优化方式。

总结而言，论文证明了进化计算，尤其是PSO方法，在实现CNN架构自动化设计中的潜力，并为未来更多自动化设计方案的提出展示了研究方向。