类型a
主要作者与机构及发表信息
本文的主要作者包括王岩（Yan Wang）、陈亮利（Liangli Zhen）、张建伟（Jianwei Zhang）等，分别来自新加坡科技研究局高性能计算研究所（Institute of High Performance Computing, Agency for Science, Technology and Research, A*STAR）、四川大学计算机学院机器智能实验室、伯明翰大学、南京信息工程大学计算机科学学院等。该研究于2024年发表在《Medical Image Analysis》期刊上。
学术背景
本研究属于医学图像分析领域，旨在解决深度神经网络在医学图像数据中的架构设计问题。尽管深度神经网络在自然图像分类中表现出色，但医学图像具有独特的特性，如小区域兴趣点和多样的病灶尺寸，这使得现有方法难以直接应用。此外，传统的人工设计网络架构过程耗时且依赖专家经验，而现有的神经架构搜索（Neural Architecture Search, NAS）方法虽然能自动发现最优架构，但通常需要高昂的计算成本，尤其是在处理高分辨率医学图像时。为了解决这些问题，本研究提出了一种名为多尺度无训练神经架构搜索（Multi-Scale Training-Free Neural Architecture Search, MSTF-NAS）的新方法，旨在高效地搜索适合医学图像分析的网络架构。
研究流程
本研究分为以下几个主要步骤：
搜索空间设计
研究定义了两个子搜索空间：普通单元（normal cell）搜索空间和缩减单元（reduction cell）搜索空间。普通单元用于特征提取，其操作包括3×3、5×5和7×7可分离卷积、扩张卷积以及恒等映射等。缩减单元则专注于多尺度特征的降维，采用不同大小的池化操作（如2×2、3×3、4×4的最大池化和平均池化）。缩减单元的设计特别考虑了医学图像中小区域和多样病灶尺寸的特点。
目标函数构建
为了平衡候选架构的能力和可训练性，研究提出了一个多目标优化问题，涉及两个无训练性能指标（如梯度范数和Jacob协方差）以及模型复杂度（以浮点运算次数FLOPs衡量）。通过将这些指标归一化到[0,1]范围，确保它们对优化过程的贡献均衡。
搜索算法
MSTF-NAS基于非支配排序遗传算法II（NSGA-II），采用进化策略进行搜索。每个候选架构由一个基因型编码表示，其中包括普通单元和缩减单元的操作及其连接关系。初始种群随机生成，随后通过选择、交叉和变异生成下一代。每一代的候选架构通过预定义的目标函数进行评估，最终选择性能最优的架构。
实验验证
研究在MedMNIST基准数据集和CBIS-DDSM乳腺癌检测数据集上进行了广泛实验。MedMNIST包含12个子数据集，涵盖多种模态（如X光、OCT、超声波、CT等）和任务（二分类、多分类、多标签分类等）。CBIS-DDSM数据集则包含891例肿块病例和753例钙化病例，共计3071张乳腺摄影图像。实验中，所有架构均使用PyTorch框架实现，并在单个DGX A100 GPU卡上运行。
主要结果
1. MedMNIST实验结果
在MedMNIST基准数据集上，MSTF-NAS在12个子数据集上的平均准确率（ACC）和曲线下面积（AUC）分别为0.850和0.938，显著优于其他方法，包括ResNet-18、ResNet-50、Auto-sklearn、AutoKeras、DARTS等。具体而言，MSTF-NAS在PathMNIST、ChestMNIST和OrganAMNIST等数据集上表现尤为突出。
CBIS-DDSM实验结果
在CBIS-DDSM数据集上，MSTF-NAS同样表现出色。无论是使用ImageNet预训练权重还是从头训练，MSTF-NAS均取得了最高的ACC和AUC分数。例如，在使用预训练权重的情况下，MSTF-NAS的AUC达到80.22%，比次优模型高出约3%。
消融实验
消融实验进一步验证了MSTF-NAS各模块的有效性。例如，不同的性能指标组合（如Jacob协方差+SynFlow）对搜索结果的影响显著；缩减单元搜索空间的设计也显著提升了多尺度特征提取能力。
结论与意义
本研究提出的MSTF-NAS方法为医学图像分析提供了一种高效且有效的神经架构搜索方案。通过引入多尺度缩减单元搜索空间和无训练性能指标，MSTF-NAS能够在显著降低计算成本的同时，发现适合医学图像特点的高性能架构。该方法不仅在多个医学图像数据集上表现出色，还展示了良好的泛化能力和可训练性。
研究亮点
1. 提出了多尺度缩减单元搜索空间，能够有效捕捉医学图像中的多尺度特征。
2. 引入了无训练性能指标，大幅降低了NAS方法的计算成本。
3. 基于多目标优化的进化搜索策略，实现了能力与可训练性的平衡。
4. 在MedMNIST和CBIS-DDSM数据集上的实验结果表明，MSTF-NAS优于现有人类设计和NAS方法。
其他有价值内容
研究还探讨了不同性能指标组合对搜索结果的影响，并通过可视化展示了进化搜索过程中Pareto前沿的变化。这些内容为进一步改进NAS方法提供了重要参考。