该文献的题目为《Efficient Self-Learning Evolutionary Neural Architecture Search》，由Zhengzhong Qiu、Wei Bi、Dong Xu、Hua Guo、Hongwei Ge、Yanchun Liang、Heow Ueh Lee 和 Chunguo Wu等学者共同撰写，发表于《Applied Soft Computing》期刊第146卷，文章编号为110671。研究于2023年7月21日接受并于同年7月26日在线发布。
神经架构搜索（Neural Architecture Search, NAS）作为深度学习领域中一个至关重要的研究方向，旨在通过算法自动生成并优化神经网络架构，以提高深度学习模型的性能。NAS方法通常能够在多个任务中生成具有竞争力的网络架构，这一优势使得NAS在计算机视觉、自然语言处理等领域得到了广泛应用。随着NAS研究的深入，许多不同的算法和优化策略相继提出，其中基于进化算法（Evolutionary Algorithm, EA）的方法作为一种备受关注的优化技术，广泛应用于神经架构搜索中。
然而，现有的进化算法在实际应用中面临许多挑战，其中最突出的就是固定概率分布的使用。传统的进化算法通常采用固定的概率分布进行变异操作，这种方法缺乏灵活性，容易导致结构复杂性和冗余，无法有效控制架构的大小。此外，评估搜索过程中所有架构的性能需要大量的计算资源和时间，限制了其在大规模任务中的应用。
为了应对这些挑战，本文提出了一种名为“高效自学习进化神经架构搜索（Efficient Self-Learning Evolutionary Neural Architecture Search, ESE-NAS）”的方法。该方法通过引入自适应学习策略和神经架构性能预测器，旨在通过自学习的方式优化进化过程，显著提高搜索效率，同时减少计算开销。
该研究的核心创新之一是引入了自适应学习策略来改进进化算法中的变异采样过程。传统的进化算法在进行变异时，通常采用固定的概率分布，这种方法无法根据架构的性能反馈进行自我调整，容易导致架构的多样性和效果不理想。而ESE-NAS则通过一个包含模型大小控制模块和变异候选信用分配方法的自适应学习策略，动态地调整变异操作的概率分布，以便在进化过程中学习架构的性能特征，从而引导搜索过程。
具体来说，首先，模型大小控制模块会根据架构的当前大小信息（如节点数量和连接稀疏度）调整变异操作的概率分布，确保新的架构不会过于复杂，从而减少后续训练的计算开销。然后，变异候选信用分配方法会根据每次变异操作后的性能评估结果动态调整变异候选的信用值，鼓励那些能提升架构性能的变异，并加速神经架构性能的收敛。
另一个关键创新是引入了神经架构性能预测器。性能预测器的作用是在评估阶段对神经网络架构的性能进行预测，从而减少了传统评估方法中的大量训练时间。传统的评估方法通常需要对每个架构进行全面的训练，直至其收敛，而ESE-NAS通过预测器在早期训练阶段即预测架构的性能，大大加快了搜索过程。
该预测器利用了一些结构特征，如早期的准确性、模型大小和每个训练周期所消耗的时间，并通过回归模型来预测架构的最终性能。这一方法能够有效减少训练时间，同时保持较高的预测准确性。
ESE-NAS的实验设计主要围绕两个数据集进行：CIFAR-10和CIFAR-100。这两个数据集是常见的图像分类任务，分别包含10类和100类目标。实验过程中，ESE-NAS的进化过程包含了30代，每代有6个父代个体，每个父代个体进行4次变异生成24个子代个体，最终选出6个最优个体进入下一代。通过这种方式，ESE-NAS能够在多个代际中逐步优化搜索过程，快速找到具有较高性能的架构。
在实验中，ESE-NAS与传统的固定采样进化算法进行比较，结果表明，ESE-NAS能够显著缩短最优架构的首次出现时间（First Hitting Time），同时搜索到的架构在性能上优于固定采样方法。具体而言，ESE-NAS在16代时就找到了最优架构，而固定采样方法则需要21代。
为了验证ESE-NAS的有效性，研究者在多个实验中比较了该方法与其他经典手工设计模型和NAS模型的性能。通过分析模型的分类准确率、GPU天数消耗、权重参数数量和浮点运算量（FLOPs），发现ESE-NAS搜索到的架构在CIFAR-10和CIFAR-100上的准确率分别为96.44%和76.35%，相比传统手工设计的模型和其他NAS方法，表现出色。同时，ESE-NAS模型的参数量和FLOPs也明显低于其他大部分模型，表明其在保持高准确率的同时，也能实现较好的推理效率。
ESE-NAS的提出为神经架构搜索领域提供了一种高效的解决方案。通过引入自适应学习策略和性能预测器，ESE-NAS在降低计算开销、提高搜索效率方面表现出了显著优势。具体而言，ESE-NAS能够更快速地找到最优架构，同时减少了训练过程中所需的计算资源，尤其在大规模数据集上表现尤为突出。
此外，ESE-NAS的方法具有较强的普适性，适用于各种神经网络架构的搜索任务，并能够根据不同的任务需求灵活调整模型的复杂度。因此，ESE-NAS不仅为神经架构搜索提供了新的思路，也为其他自动机器学习（AutoML）任务的研究提供了借鉴。
创新的变异采样自适应学习策略：ESE-NAS引入的自适应学习策略，能够根据架构的当前性能动态调整变异操作的概率分布，避免了固定概率分布带来的结构复杂性和冗余问题。
性能预测器的有效应用：性能预测器大大加速了架构评估过程，减少了训练时间，同时保持了较高的预测准确性。这一方法为NAS中的性能评估提供了一个高效的替代方案。
高效的进化过程：ESE-NAS通过控制架构的复杂度，显著减少了模型训练的计算开销，使得搜索过程更加高效。
ESE-NAS为神经架构搜索领域带来了重要的创新，尤其在优化搜索效率、减少计算资源消耗方面具有显著的应用价值。未来，随着自学习机制的进一步优化，ESE-NAS有望在更多的应用场景中展现其优势，例如在图像分类、语音识别和自然语言处理等任务中。此外，研究者还计划将ESE-NAS扩展至多目标优化任务，以进一步提升其通用性和灵活性。
该研究的创新方法和实验结果，为神经架构搜索技术的发展提供了新的方向，并推动了自动机器学习（AutoML）领域的研究进展。