本文档属于类型a，是一篇关于边缘设备环境声音分类（Environmental Sound Classification, ESC）的高效能卷积加速器的原创研究。以下为详细学术报告：

作者、机构及发表信息

本研究由Xidian University（西安电子科技大学）的Lichen Feng、Tao Wang、Rundong Cai、Zhangming Zhu（通信作者）及中国科学院计算技术研究所的Feng Min（共同通信作者）合作完成，发表于IEEE Transactions on Circuits and Systems—II: Express Briefs（2025年9月，第72卷第9期）。题目为《A 36 mJ/inf Convolution Accelerator with Reduced Memory Access and Regrouped Sparse Kernels for Environment Sound Classification on Edge Devices》。

学术背景

研究领域：边缘计算（Edge Computing）与轻量化神经网络加速，聚焦于环境声音分类（ESC）的硬件优化。
研究动机：现有ESC处理器虽能降低延迟与资源占用，但模型稀疏性（sparsity）与计算流仍需优化。边缘设备需长期连续监控，对能效要求严苛，而传统ESC模型复杂度高（如CNN-based方法），难以直接部署。
目标：提出一种端到端（end-to-end）超轻量深度可分离卷积（Depthwise Separable Convolution, DSC）模型，并设计定制化加速器，实现低能耗（36 mJ/推理）的ESC任务。

研究流程与方法

1. 模型设计：E2E-ULDSC-Pruned

• 步骤1：构建基础模型E2E-ULDSC
  
  • 结构：由1D深度卷积（DConv）层、8个统一DSC层（DPConv）、点卷积（PConv）层和全连接（FC）层组成（表I）。
    
  • 优势：全DSC结构减少参数（156k）与计算量（125 MFLOPs/推理），准确率达87.25%（ESC-50数据集）。
    
• 步骤2：模型压缩
  
  • 剪枝（Pruning）：删除冗余参数，但直接剪掉88%计算量会降低模型精度（低于对比模型Micro-AcDNet的83.6%）。
    
  • 知识蒸馏（Knowledge Distillation）：引入中型预训练模型（教师模型，准确率89.5%）指导剪枝后训练，最终获得E2E-ULDSC-Pruned模型，参数仅10k、计算量9 MFLOPs/推理，准确率84.50%（超越Micro-AcDNet 0.9%）。
    
• 开源共享：模型已公开于GitHub（https://github.com/wangtao661/e2e-uldsc）。

2. 硬件加速器设计

• 核心创新：
  
  • 流水线DSC计算流：将DConv与PConv合并为连续流水线（DConv-PConv-Pool流程），避免中间特征图的存储与读取，减少内存访问（降低ichn×h×w×2次访问）。
    
  • 稀疏核重组（Sparse Kernel Regrouping）：通过离线的两步排序与重组（图4b），将PConv层的稀疏核按非零权重数对齐，提升处理单元（PE）利用率至94.6%（表III），减少时钟周期。
    
• 架构细节：
  
  • 硬件组成：8个可重构PE、寄存器组、池化与激活单元（P&A）、双缓冲存储（FM Memory）（图2a）。
    
  • 动态调度：PE在DConv（图2b）与PConv（图2c）模式间切换，支持不同输入/输出通道数的灵活适配（表I）。

3. 实验验证

• 量化与部署：模型权重量化为int8，激活值为int16，精度保持81.0%（接近人类水平81.3%）。
  
• FPGA实现：
  
  • Kintex-7对比实验：相比Peng et al. [16]的基准设计，延迟降低12.1%（254 ms vs. 289.1 ms），功耗减少14.4%（143 mW vs. 313 mW）。
    
  • ZCU102验证：最终能耗达36 mJ/推理（SOTA），PE利用率提升3%，时钟周期减少52（表IV）。

主要结果与逻辑关系

1. 模型性能：E2E-ULDSC-Pruned以9 MFLOPs/推理的计算量，超越Micro-AcDNet的精度（84.50% vs. 83.65%），验证了轻量化设计的有效性。
   
2. 硬件效率：流水线计算流与稀疏核重组分别降低内存访问与PE闲置时间，协同实现68 mJ/推理（Kintex-7）到36 mJ/推理（ZCU102）的优化。
   
3. 对比优势：与现有ESC电路（如[13]）相比，资源占用减少80%以上（表IV），凸显算法-硬件协同优化的必要性。

结论与价值

• 科学价值：提出首个结合DSC专用流水线与稀疏核重组的ESC加速器框架，为边缘端轻量化神经网络设计提供新范式。
  
• 应用价值：36 mJ/推理的能效适用于长期环境监控（如生态监测、智能安防），模型开源促进后续研究。
  
• 跨领域意义：所述稀疏优化方法可扩展至其他轻量化CNN加速场景。

亮点与创新

1. 模型创新：端到端全DSC结构首次应用于ESC任务，参数效率比传统CNN提升一个数量级。
   
2. 硬件创新：
   
   • DConv-PConv-Pool流水线消除中间数据搬移，减少35.3%功耗。
     
   • 两步稀疏核重组法（图4b）提升PE利用率至94.6%，优于传统排序分组（91.6%）。
     
3. 开源贡献：公开模型与加速器设计，推动边缘智能声学感知研究。

其他补充

• 局限性：模型量化后精度损失约3.5%，未来可探索更高精度量化方案。
  
• 扩展性：加速器架构可适配其他DSC密集型任务（如图像分割）。