这篇文档属于类型a，即报告了一项原创研究。以下是对该研究的详细介绍：
该研究的主要作者包括Vasco Lopes、Fabio Maria Carlucci、Pedro M. Esperança、Marco Singh、Antoine Yang、Victor Gabillon、Hang Xu、Zewei Chen和Jun Wang。他们分别来自NOVA LINCS（葡萄牙贝拉英特拉大学）、华为诺亚方舟实验室（英国伦敦）和伦敦大学学院（英国伦敦）。该研究于2023年9月12日在线发表在期刊《machine learning》上，卷号为113，页码范围73-96。
该研究的主要科学领域是神经架构搜索（Neural Architecture Search, NAS）。NAS的目标是通过自动化搜索最优的神经网络架构，从而减少对特定应用领域专家的依赖，推动复杂网络在各行业的广泛应用。然而，NAS的计算复杂度极高，早期方法需要数百甚至数千个GPU天才能发现最优架构。尽管已有许多技术（如强化学习、进化算法等）被用于NAS，但这些方法通常效率低下，且对计算资源和内存的需求极高。因此，本研究旨在通过将NAS问题框架化为多智能体问题（Multi-Agent Problem），提出一种名为MANAS（Multi-Agent Neural Architecture Search）的算法，以显著降低内存需求和计算成本，同时保持甚至超越现有方法的性能。
研究首先将NAS问题形式化为一个图搜索问题，目标是学习图中边上的最优操作以最大化全局目标。由于架构参数空间巨大，效率成为NAS实际应用的主要瓶颈。MANAS通过将NAS问题框架化为多智能体问题，每个智能体控制网络的一个子集，并通过协调达到最优架构。
MANAS提供了两种轻量级实现，分别是MANAS-LS和MANAS。这两种算法通过减少内存需求（仅为现有技术的1/8）和优化计算性能，实现了高效的架构搜索。MANAS-LS采用线性分解损失函数的方法，而MANAS则通过协调下降处理非线性损失函数。
研究从理论上证明了MANAS算法的遗憾值（Regret）会以(O(\sqrt{T}))的形式消失，其中(T)为总轮数。这一理论保证了算法的收敛性。
研究在CIFAR-10和ImageNet数据集上进行了实验，并与随机搜索、随机采样等基线方法进行了对比。此外，研究还在三个新的数据集（Sport-8、Caltech-101、MIT-67）上进行了实验，以验证算法在不同复杂度和网络配置下的表现。实验结果表明，MANAS在减少内存需求和搜索时间的同时，能够取得与现有方法相当甚至更好的性能。
在CIFAR-10数据集上，MANAS的两种实现均表现出色。与现有方法相比，MANAS在减少内存需求的同时，取得了更高的准确率。特别是，MANAS能够在最终架构上直接搜索，而无需像Darts那样先搜索8个单元再堆叠成20个单元，从而获得了更好的结果。
在ImageNet数据集上，MANAS同样表现出色。无论是直接在ImageNet上搜索，还是从CIFAR-10迁移架构，MANAS均取得了与现有方法相当甚至更好的性能。特别是在使用扩展训练协议（如AutoAugment）后，MANAS在ImageNet上的测试误差进一步降低。
在Sport-8、Caltech-101和MIT-67数据集上的实验表明，MANAS能够显著优于随机搜索和随机采样基线方法，尤其是在14单元网络配置下表现尤为突出。
研究还评估了MANAS在复杂度约束下的表现。通过将推理时间作为复杂度约束引入训练损失函数，MANAS能够生成推理时间更短的架构，同时保持较高的准确率。
MANAS提出了一种理论上有保证的多智能体在线学习框架，用于神经架构搜索。该算法的两种轻量级实现在相同的搜索空间内，不仅超越了现有方法的性能，还将内存需求降低了一个数量级。此外，MANAS在多个数据集上的实验验证了其在不同设置下的有效性。尽管随机架构在某些情况下表现良好，但MANAS在有限的计算预算下仍能取得具有竞争力的结果。
研究还提出了三个新的数据集用于NAS评估，以减少算法过拟合的风险，并与随机搜索和随机采样基线方法进行了公平比较。此外，研究还对MANAS的复杂度约束进行了分析，展示了其在多目标优化中的应用潜力。