这篇由美国密苏里科技大学计算机科学系的Raja Sunkara与Tie Luo教授（通讯作者）合作完成的研究论文，标题为《No More Strided Convolutions or Pooling: A New CNN Building Block for Low-Resolution Images and Small Objects》，已被2022年的欧洲机器学习与知识发现数据库会议（ECML PKDD 2022）收录。本文提出了一种创新的卷积神经网络（CNN）构建模块，旨在彻底解决现有CNN架构在处理低分辨率图像和小尺寸物体时性能显著下降的长期难题。

研究背景

卷积神经网络（CNN）在过去十年中已成为计算机视觉领域的基石技术，在图像分类、物体检测等核心任务上取得了巨大成功。从AlexNet、VGGNet到ResNet，以及以R-CNN系列、YOLO系列、SSD为代表的物体检测模型，CNN的架构不断演进，性能持续提升。然而，这些成功在很大程度上依赖于“高质量”的输入数据，即分辨率较高、物体尺寸适中的图像。一旦面对低分辨率图像或场景中包含大量小物体时，现有模型的性能就会出现急剧衰退。例如，将AlexNet的输入图像分辨率降低至原来的1/4和1/8时，其分类准确率会分别下降14%和30%。在物体检测任务中，SSD模型在物体尺寸缩小为1/4时，平均精度（mAP）损失高达34.1。

本研究指出，这一性能瓶颈根源于现有CNN架构中一个普遍存在但有缺陷的设计：使用步幅卷积（Strided Convolution）和池化层（Pooling Layer）。这两种操作是CNN中用于下采样特征图、扩大感受野、减少计算量的标准手段。然而，它们的工作原理本质上是“丢弃”信息：步幅卷积通过跳跃像素进行卷积，直接忽略了一部分空间信息；池化层（如最大池化）则在局部区域内选取一个代表值，丢弃了其他细节。在输入图像质量高、信息冗余充足的“友好”场景下，这种信息损失可以被模型后续的学习能力所补偿。但在低分辨率或小物体场景中，图像本身包含的精细信息（fine-grained information）就十分有限，此时这种粗暴的下采样方式会直接导致关键细节的永久丢失，从而使得模型学习到的特征表示效果不佳，最终表现为性能下降。

因此，本研究的核心目标是设计一种全新的CNN构建模块，能够在完成下采样功能的同时，最大限度地保留特征图中的所有信息，从而从根本上提升模型在挑战性视觉任务上的鲁棒性和准确性。

研究方法与流程

本研究提出了一种名为SPD-Conv的新构建模块，用以全面取代传统的步幅卷积层和池化层。SPD-Conv由两部分顺序组成：空间到深度转换层（Space-to-Depth, SPD）和非步幅卷积层（Non-strided Convolution）。其核心思想是将下采样过程中的空间信息损失，转化为通道维度上的信息保留，再利用可学习的卷积核来整合这些信息。

1. SPD-Conv构建模块的设计与原理

   • 空间到深度转换层（SPD）：该层是信息无损下采样的关键。对于一个尺寸为 S × S × C1 的输入特征图，SPD层设定一个缩放因子 scale。其操作是：将输入特征图在空间维度上规则地划分为 scale × scale 个子特征图。例如，当 scale=2 时，将原图划分为四个子图（如取所有行索引和列索引均为偶数的像素构成第一个子图，行索引奇、列索引偶构成第二个子图，以此类推）。每个子图的尺寸为 (S/scale) × (S/scale) × C1，都完成了2倍下采样。随后，将这 scale × scale 个子特征图沿着通道维度拼接起来，得到一个尺寸为 (S/scale) × (S/scale) × (scale² × C1) 的中间特征图。这一过程将下采样带来的空间分辨率降低，转换为了通道数量的增加，从而理论上实现了信息的无损转换。
   • 非步幅卷积层：经过SPD层后，特征图的通道数急剧增加（增加了 scale² 倍）。为了将特征图整合并映射到期望的通道数 C2（通常 C2 < scale² × C1），研究者紧接着使用了一个步幅为1的普通卷积层（即非步幅卷积）。这个卷积层的作用是利用可学习的参数，自适应地融合和压缩来自不同空间位置子图的信息，生成更有效的特征表示。使用步幅为1的卷积是为了避免在整合过程中再次引入信息丢失。

2. 模型构建与案例研究 为了验证SPD-Conv的通用性和有效性，研究者在两个最具代表性的计算机视觉任务上进行了案例研究，构建了新型网络架构。

   • 物体检测应用：YOLOv5-SPD 研究者选择了当时流行的单阶段检测器YOLOv5作为基线。YOLOv5在其骨干网络（Backbone）中使用了5个步幅为2的卷积层，在其颈部网络（Neck）中使用了2个步幅为2的卷积层，共计7处下采样操作。研究者将这7个步幅卷积层全部替换为SPD-Conv模块（scale参数根据原下采样需求设定，通常为2），从而构建了YOLOv5-SPD。替换过程是直接且统一的，保持了YOLOv5原有的宽度缩放和深度缩放策略，从而可以方便地衍生出Nano、Small、Medium、Large等不同复杂度的版本（YOLOv5-SPD-n/s/m/l），以公平对比。
   • 图像分类应用：ResNet18/50-SPD 研究者选择了经典的ResNet作为基线。ResNet-18和ResNet-50共使用了4个步幅卷积和1个步幅为2的最大池化层进行下采样。在本研究中，研究者将4个步幅卷积替换为SPD-Conv，并直接移除了第一个最大池化层（因为实验所用的Tiny ImageNet和CIFAR-10数据集图像本身尺寸很小，分别为64x64和32x32，无需初始大幅下采样）。对于更大图像的任务，该池化层同样可以用SPD-Conv替换。由此得到了ResNet18-SPD和ResNet50-SPD。

3. 实验设计与评估流程

   • 物体检测实验：
     • 数据集：使用大规模基准数据集MS COCO 2017，包含训练集（118,287张图）、验证集（val2017，5,000张图）和测试集（test-dev2017，20,288张图）。
     • 训练设置：一个关键且严谨的设置是，所有YOLO系列模型（包括基线YOLOv5和提出的YOLOv5-SPD各版本）均从零开始训练（from scratch），不使用在ImageNet等高质量数据集上的预训练权重。这旨在纯粹地评估模型自身从数据中学习特征的能力，避免了预训练带来的“不公平”优势。相比之下，其他非YOLO的基线模型（如Faster R-CNN、DETR等）由于计算资源限制，仍使用了迁移学习。这使得本文提出的模型在对比中实际上处于更不利的位置，但结果更能证明其自身架构的优越性。训练采用了SGD优化器、余弦学习率衰减以及多种数据增强技术（如Mosaic、CutMix）。
     • 评估指标：主要报告在不同IoU阈值下的平均精度（AP），并特别关注针对小物体的平均精度（AP_s）。
   • 图像分类实验：
     • 数据集：使用Tiny ImageNet（200类，64x64图像）和CIFAR-10（10类，32x32图像）。
     • 训练与评估：对ResNet18-SPD在Tiny ImageNet上进行了细致的超参数调优。使用Top-1分类准确率作为主要评估指标。

主要研究结果

1. 物体检测性能显著提升，尤其在小物体上：

   • 在COCO val2017验证集上，所有尺寸的YOLOv5-SPD模型在整体AP和小物体AP_s上均一致性地超越了对应的基线YOLOv5模型以及同期的YOLOX模型。
   • 在小模型（Nano和Small）上，优势最为明显。例如，YOLOv5-SPD-n的小物体AP_s达到16.0，比基线YOLOv5n（14.14）相对提升了13.15%；整体AP也从28.0提升至31.0。YOLOv5-SPD-s的AP_s也相对提升了11.4%。
   • 在更大的模型（Medium和Large）上，虽然整体AP的领先优势缩小或相近，但在小物体AP_s上，YOLOv5-SPD-m和YOLOv5-SPD-l依然分别保持了8.6%和1.8%的相对提升，始终是同类模型中的最佳。这完美契合了SPD-Conv的设计目标——在信息有限的挑战性场景下表现更优。
   • 在更权威的COCO test-dev2017测试集上，趋势得到确认。尽管部分使用了迁移学习且参数量更大的模型（如EfficientDet）在整体AP上有时更高，但YOLOv5-SPD系列在小物体AP_s上始终保持领先。例如，YOLOv5-SPD-n的AP_s为15.1，大幅领先于基线YOLOv5n的12.7和EfficientDet-D0的12.0。这强有力地证明了SPD-Conv在保留精细信息方面的核心优势。

2. 图像分类准确率提高：

   • 在Tiny ImageNet上，ResNet18-SPD取得了64.52% 的Top-1准确率，显著高于标准ResNet18的61.68%，也超越了同期其他一些针对低分辨率设计的网络（如Convolutional Nyströmformer和Wavemix）。
   • 在CIFAR-10上，ResNet50-SPD取得了95.03% 的准确率，优于标准ResNet50的93.94%以及其他改进方法如Stochastic Depth和ProdPoly。

3. 视觉对比证据： 论文提供了直观的检测结果对比图。例如，在一张包含长颈鹿的图片中，YOLOv5m模型漏检了一只被部分遮挡的长颈鹿，而YOLOv5-SPD-m成功检测出；在另一张街景图中，YOLOv5-SPD-m能够检测出远处非常小的人脸和长椅，而基线模型则完全失败。这些案例生动地展示了SPD-Conv在保留细节、提升模型感知能力方面的效果。

结论与研究价值

本研究得出的核心结论是：通过提出并应用SPD-Conv这一新型构建模块，可以彻底消除CNN中因使用步幅卷积和池化层而导致的固有信息损失问题。这一设计使CNN能够在下采样过程中保留完整的精细信息，从而显著提升模型在处理低分辨率图像和小尺寸物体时的性能。

其科学价值在于，它指出了一个被广泛忽视的基础架构缺陷，并提供了一种通用、优雅且高效的解决方案。SPD-Conv模块具有统一性（可同样替换步幅卷积和池化）、通用性（可应用于绝大多数CNN架构）和简易性（易于集成到PyTorch、TensorFlow等主流深度学习框架中）。

其实践与应用价值巨大。在安防监控（远距离、低像素摄像头）、医学影像分析（细胞、组织切片）、卫星图像解读、自动驾驶（感知远处小目标）等诸多实际应用场景中，图像质量受限和小目标检测是关键挑战。SPD-Conv为提升这些场景下视觉模型的性能提供了直接有效的技术路径。研究团队已开源所有代码，有望推动相关领域的研究进展和产业应用。

研究亮点

1. 问题洞察的深刻性：没有停留在改进损失函数或增加复杂模块的层面，而是直指CNN基础操作（步幅卷积/池化）的固有缺陷，从信息论的角度重新思考下采样的实现方式。
2. 方法设计的创新性与简洁性：提出的SPD-Conv模块概念清晰，结构简单，仅由两个标准操作组成，却实现了“无损下采样”的核心思想，巧妙地将空间信息转化为通道信息进行保留。
3. 验证的全面性与严谨性：通过在两大核心任务（检测与分类）、多个基准数据集、以及与大量最先进模型的对比中进行充分验证。特别是坚持对自身模型“从零训练”的设置，增强了结论的说服力。
4. 显著的性能提升：实验结果表明，尤其是在资源受限的小模型和极具挑战性的小物体检测任务上，性能提升幅度显著，证明了该方法在边缘计算和实际困难场景中的巨大潜力。

这项工作不仅提出了一个高性能的CNN新模块，更重要的是它挑战并改进了深度学习视觉模型的一个基础设计范式，为未来面向低质量、高难度视觉任务的网络架构设计指明了新的方向。