一项面向移动视觉应用的高效混合CNN-Transformer架构研究

本报告旨在向研究同行介绍由Muhammad Maaz等人于2023年发表在欧洲计算机视觉会议（ECCV）2022研讨会论文集（LNCS 13807）上的一项原创性研究。该研究提出了一种名为“EdgeNeXt”的新型轻量级神经网络架构，旨在通过有效融合卷积神经网络（Convolutional Neural Network, CNN）与视觉Transformer的优势，为资源受限的边缘设备（如移动平台）提供高效且准确的视觉感知解决方案。该工作由穆罕默德·本·扎耶德人工智能大学（MBZUAI，阿联酋）的Muhammad Maaz和Abdelrahman Shaker（共同一作）主导，并联合了澳大利亚国立大学、Inception人工智能研究所、阿尔托大学以及林雪平大学的研究人员共同完成。

学术背景与研究目标

研究领域属于计算机视觉中的高效神经网络架构设计，尤其专注于移动与边缘计算场景。当前，为了追求更高的精度，CNN和视觉Transformer（Vision Transformer， ViT）模型趋向于更深、更复杂，导致计算需求巨大，难以部署在计算能力、内存和功耗均有限的边缘设备上。然而，在机器人、自动驾驶等众多现实应用中，模型不仅需要高精度，还必须在资源受限的平台上实现低延迟推理。现有轻量级方法存在明显局限：传统高效CNN（如MobileNet系列）虽然计算效率高，但其卷积操作的感受野有限，无法显式建模图像中的全局上下文信息；而ViT虽能通过自注意力（Self-Attention）机制捕获全局依赖，但其计算复杂度（尤其是多头自注意力）通常很高，导致推理速度慢，不适合移动设备。最近出现的混合架构（如MobileViT）尝试结合两者优点，但其注意力模块的计算复杂度仍与输入空间尺寸成二次方关系，且模型中存在多个注意力块，导致乘加运算（Multiply-Adds， MADDs）开销大，仍是边缘设备上的效率瓶颈。

基于此，本研究的目标是开发一种全新的轻量级混合架构，它不仅在模型大小（参数量）上高效，更关键的是在计算量（MADDs）和实际推理延迟上具有显著优势。研究旨在设计一种能够高效融合CNN的局部特征提取能力和Transformer的全局上下文建模能力的架构，以实现移动视觉任务中精度与速度的最佳权衡。

详细研究流程与方法

研究流程主要包括创新架构设计、在多个标准数据集上的全面实验验证以及对设计选择的消融分析。

核心创新架构设计： 研究团队提出的EdgeNeXt架构基于ConvNeXt的设计原则，采用分阶段（stage-wise）的层级特征提取结构，共包含四个阶段。其核心创新在于引入了两种关键编码器模块：自适应卷积编码器（Adaptive Conv. Encoder）和分裂深度可分离转置注意力编码器（Split Depth-wise Transpose Attention， SDTA Encoder）。

1. 自适应卷积编码器：该模块主要负责局部特征提取。其关键创新在于采用了自适应卷积核大小。受CNN层次化特性的启发，研究者在网络的早期阶段（捕获低级特征）使用较小的卷积核（如3x3），在后期阶段（需要捕获更高级、更全局的特征）使用较大的卷积核（如5x5， 7x7， 9x9）。这种设计相比在整个网络中使用固定大核，能以更低的计算成本灵活增大感受野。该模块由深度可分离卷积（包含自适应核大小的深度卷积和两个逐点卷积）构成，并集成了层归一化（LayerNorm）和高斯误差线性单元（GELU）激活函数。

2. 分裂深度可分离转置注意力编码器：这是EdgeNeXt的核心创新模块，旨在高效地编码多尺度局部特征和全局上下文。该模块分为两部分：

   • 第一部分：多尺度特征学习。受Res2Net启发，该部分将输入张量沿通道维度分割成多个子集（子集数量在不同阶段自适应）。每个子集（除第一个外）依次经过一个3x3深度可分离卷积处理，并且当前子集的输入会与前一个子集卷积后的输出相加，再送入自身的卷积层。这种设计形成了层级化的多分支结构，使得输出特征能够融合不同尺度的空间信息，有效且灵活地增加了网络的感受野，同时由于主要使用深度卷积，参数量和计算量得以控制。
   • 第二部分：高效的全局上下文编码。这是解决传统Transformer注意力计算开销大的关键。研究者采用了转置注意力（Transpose Attention） 机制。与标准ViT在空间维度（像素或图像块之间）计算注意力不同，SDTA编码器在通道维度上计算注意力。具体而言，给定特征图，先通过线性投影得到查询（Query）、键（Key）、值（Value）向量。然后，对Q和K的转置进行点积运算，得到一个“通道x通道”的注意力得分矩阵，再与V相乘得到输出。这一操作的计算复杂度与输入图像的空间尺寸呈线性关系，而非二次方，从而大幅降低了计算开销。这个模块使得模型能够以较低成本隐式地编码全局图像表征。

整个EdgeNeXt架构由交替堆叠的Conv. Encoder和SDTA Encoder构成。具体配置如表1所示，研究者设计了三种不同规模的变体：EdgeNeXt-XXS（130万参数）、EdgeNeXt-XS（230万参数）和EdgeNeXt-S（560万参数），以匹配不同资源约束。

实验设计与数据处理： 研究在三个核心计算机视觉任务上评估EdgeNeXt：图像分类、目标检测和语义分割。 1. 图像分类实验：使用ImageNet-1K数据集（约128万训练图像）。训练时采用256x256输入分辨率，有效批次大小为4096，使用AdamW优化器训练300个周期。数据增强包括随机裁剪、水平翻转和RandAugment。使用指数移动平均（EMA）和随机深度（Stochastic Depth）等技术。在NVIDIA A100 GPU和Jetson Nano边缘设备上测量模型延迟。 2. 目标检测实验：使用COCO 2017数据集。将EdgeNeXt作为SSDLite检测器的骨干网络进行微调，输入分辨率为320x320。评价指标为平均精度均值（mean Average Precision, mAP）。 3. 语义分割实验：使用PASCAL VOC 2012数据集。将EdgeNeXt作为DeepLabv3分割网络的骨干网络进行微调，输入分辨率为512x512。评价指标为平均交并比（mean Intersection over Union， mIoU）。 4. 大规模预训练实验：额外设计了更大的EdgeNeXt-B模型（1850万参数），在ImageNet-21K-P数据集（约1100万图像）上进行预训练，然后在ImageNet-1K上微调，以探索模型容量。 5. 消融实验（Ablation Studies）：为了验证各个设计组件的有效性，研究者进行了一系列控制变量实验，包括：移除SDTA编码器、使用固定卷积核、移除SDTA中的自适应分支或位置编码、改变SDTA在网络中的位置（不同阶段、阶段开始或结束）、以及更换激活函数和归一化层等。

主要研究成果

研究在各项实验中均取得了优于或媲美当前先进方法的性能，同时在计算效率上表现突出。

1. 图像分类结果：在ImageNet-1K上，EdgeNeXt-S（256x256输入）达到了79.4%的Top-1准确率，以显著更少的计算量（1.3G MADDs vs. 2.01G MADDs）超越了同等参数量（5.6M）的MobileViT-S（78.4%），绝对增益达1.0%。与纯CNN模型相比，EdgeNeXt-S以更少的参数超过了MobileNetV2（74.7%）约4.7个百分点。与轻量级ViT模型相比，EdgeNeXt-S也展现出优势。更重要的是，小规模模型EdgeNeXt-XXS（1.3M参数）实现了71.2%的准确率，以28%的FLOPs减少，超越了MobileViT-XXS 2.2%。在延迟方面，EdgeNeXt所有变体在Jetson Nano和A100上的推理速度均快于对应的MobileViT模型。经过知识蒸馏后，EdgeNeXt-S的准确率进一步提升至81.1%。大规模预训练的EdgeNeXt-B模型达到了83.3%的Top-1准确率，同样优于同等规模的ConvNeXt-T和MobileViT-v2。

2. 目标检测与语义分割结果：当作为骨干网络用于下游任务时，EdgeNeXt同样表现出色。在COCO目标检测上，基于EdgeNeXt-S的SSDLite获得了27.9的mAP，略高于基于MobileViT-S的27.7，同时计算量减少了约38%（2.1G MADDs vs. 3.4G MADDs）。在PASCAL VOC语义分割上，基于EdgeNeXt-S的DeepLabv3获得了80.2的mIoU，优于基于MobileViT-S的79.1，计算量减少了约36%（8.7G MADDs vs. 13.7G MADDs）。这些结果表明EdgeNeXt学习到的特征具有强大的泛化能力，适用于密集预测任务。

3. 消融分析结果：消融实验为设计选择提供了有力证据。(a) SDTA编码器的重要性：用普通卷积编码器替换SDTA编码器会导致准确率下降1.1%。(b) 自适应卷积核的有效性：使用固定大小（7x7）的卷积核会导致准确率下降0.4%。© SDTA组件的作用：移除SDTA中的自适应分支或位置编码会略微降低性能。(d) SDTA的放置位置：实验表明，在最后三个阶段的末尾各放置一个SDTA编码器（即研究采用的配置），能在精度和延迟之间取得最佳平衡；将其放在阶段开始处或添加到第一个阶段效果不佳。(e) 激活与归一化：将GELU和LayerNorm替换为Hard-Swish和BatchNorm可以显著提升推理速度（降低延迟），但会伴随轻微的精度损失，这为追求极致速度的场景提供了备选方案。

研究结论与价值

本研究成功提出并验证了EdgeNeXt，一种专为移动和边缘视觉应用设计的新型高效混合CNN-Transformer架构。其核心贡献在于提出的分裂深度可分离转置注意力编码器，该模块通过创新的多尺度深度卷积路径和线性复杂度的通道维度自注意力，巧妙地解决了传统混合模型中全局上下文建模与高计算开销之间的矛盾。实验证明，EdgeNeXt在图像分类、目标检测和语义分割等多个核心视觉任务上，均能以更少的计算资源（参数量和乘加运算）和更快的推理速度，达到或超越当前最先进的轻量级CNN、ViT及混合模型。

该研究的科学价值在于为轻量级神经网络架构设计提供了新的思路：即通过改变注意力计算的根本维度（从空间到通道）来突破效率瓶颈，同时结合精心设计的卷积结构来保证多尺度局部特征的提取。其应用价值则直接体现在推动高性能计算机视觉模型在智能手机、嵌入式系统、自动驾驶传感器等资源受限设备上的实际部署，使得在这些设备上运行同时具备高精度和低延迟的视觉感知算法成为可能。

研究亮点

1. 创新性架构组件：提出的SDTA编码器是本研究最核心的亮点。它创造性地将通道维度的转置注意力与多尺度深度卷积融合，实现了以线性复杂度高效编码全局信息，这在轻量级模型设计中是一个重要的突破。
2. 卓越的效率-精度权衡：研究不仅关注参数量，更将乘加运算和实际边缘设备延迟作为关键评估指标。EdgeNeXt在所有规模模型上都展示了显著优于同类方法的计算效率与精度平衡曲线（如图1所示）。
3. 系统且全面的验证：研究不仅在主流的ImageNet分类任务上证明其有效性，还深入验证了模型在目标检测和语义分割等下游任务上的泛化性能，并通过详尽的消融实验科学地论证了每个设计选择的必要性。
4. 实用性考量：研究包含了在真实边缘设备（Jetson Nano）上的延迟测试，并探索了更换激活/归一化层以进一步优化速度的选项，体现了从算法设计到实际部署的全面考量。
5. 有效的设计继承与改进：架构建立在ConvNeXt等现代设计思想之上，并针对移动设备的特定约束进行了关键性创新（如自适应核、线性注意力），使得工作既具有前沿性又具备坚实的实践基础。

这项工作为边缘计算视觉领域贡献了一个高效、通用且性能强大的新基准模型，其代码和模型已公开，可供社区进一步研究和应用。