本文介绍了一项由Jiachen Zhong、Junying Chen和Ajmal Mian等人发表在《IEEE Transactions on Neural Networks and Learning Systems》上的研究，题为“DualConv: Dual Convolutional Kernels for Lightweight Deep Neural Networks”。该研究提出了一种新的卷积核设计——双卷积核（DualConv），旨在构建轻量级的深度神经网络，以解决当前卷积神经网络（CNN）在内存和计算资源上的高需求问题，使其更适合在嵌入式系统和移动平台上部署。

研究背景与动机

卷积神经网络（CNN）在图像分类、目标检测和语义分割等任务中表现出色，但随着网络深度和复杂度的增加，模型的参数量和计算需求急剧上升，导致其难以在资源受限的设备上运行。尽管嵌入式设备和移动平台对深度学习模型的需求巨大，但现有的CNN架构由于内存、功耗和计算资源的限制，无法直接部署在这些设备上。因此，设计轻量级且高效的CNN模型成为当前研究的热点方向。

研究方法与流程

DualConv的核心思想是将3×3卷积核和1×1卷积核结合，同时处理相同的输入特征图通道，并利用分组卷积（group convolution）技术高效地安排卷积滤波器。DualConv可以应用于任何CNN模型，如VGG-16、ResNet-50、YOLO和R-CNN等。本文主要测试了DualConv在图像分类任务中的表现，并在YOLO-v3上进行了目标检测实验。

实验流程

1. 模型替换：在VGG-16和ResNet-50中，将标准的3×3卷积替换为DualConv。对于VGG-16，替换了最后12层的卷积；对于ResNet-50，替换了所有步幅为1的3×3卷积（除了第一层）。
2. 超参数设置：实验中设置了权重衰减、初始学习率等超参数，并使用SGD优化器和学习率衰减策略。
3. 数据集：实验在CIFAR-10、CIFAR-100和ImageNet等数据集上进行，验证了DualConv在不同数据集上的泛化能力。
4. 对比实验：与现有的模型压缩方法（如Li-pruned、SBP、AFP等）以及其他高效卷积方法（如groupconv和hetconv）进行了对比。

主要结果

1. VGG-16和ResNet-50在CIFAR-10上的表现：DualConv显著减少了网络的计算成本和参数量，同时在某些情况下甚至略微提高了模型的准确率。例如，当g=4时，VGG-16的准确率比标准VGG-16更高，而计算量和参数量减少了60%以上。
2. MobileNetV1和MobileNetV2在CIFAR-10上的表现：DualConv在MobileNetV1上提高了1.23%的准确率，而在MobileNetV2上减少了54%的参数量，仅损失了0.68%的准确率。
3. ImageNet上的表现：在ImageNet数据集上，DualConv显著减少了VGG-16和ResNet-50的计算成本和参数量，同时保持了较高的准确率。例如，DualConv修改后的ResNet-50在g=2时，计算量和参数量减少了20%以上，而准确率仅下降了0.18%。
4. YOLO-v3在Pascal VOC上的表现：DualConv显著提高了YOLO-v3的目标检测速度和准确率。在g=4时，DualConv修改后的YOLO-v3模型减少了50%的计算量和参数量，同时提高了4.4%的准确率。

结论与意义

DualConv通过结合3×3分组卷积和1×1点卷积，解决了跨通道信息传递和输入特征图信息保留的问题。与现有的高效卷积方法相比，DualConv在保持网络准确率的同时，显著减少了计算成本和参数量，并且具有更强的泛化能力。DualConv可以应用于标准网络架构和轻量级网络架构，适用于多种图像分类和目标检测任务。

研究亮点

1. 创新性：DualConv提出了一种新的卷积核设计，结合了3×3卷积和1×1卷积的优点，显著减少了网络的计算成本和参数量。
2. 高效性：DualConv在多个数据集和网络架构上表现出色，能够在减少计算量和参数量的同时保持甚至提高模型的准确率。
3. 泛化能力：DualConv在图像分类和目标检测任务中均表现出良好的泛化能力，适用于多种应用场景。

未来研究方向

未来的研究将集中在嵌入式设备上的部署，以进一步验证DualConv在实际应用中的效率。