分享自:

SEAF-Net:一种可持续且轻量级的注意力增强水下鱼类识别检测网络

期刊:Journal of Marine Science and EngineeringDOI:10.3390/jmse14040351

本研究的主要作者为中国农业大学工学院的韩宇珊(Yu-Shan Han)和赵胜伦(Sheng-Lun Zhao),香港城市大学数学系的陈楚(Chu Chen),维克森林大学计算机科学系的崔康宁(Kangning Cui),德克萨斯A&M大学化学工程系的胡平凡(Pingfan Hu),以及佐治亚大学作物与土壤科学系的王瑞峰(Rui-Feng Wang)。该研究于2026年1月6日投稿至《Journal of Marine Science and Engineering》,经修订后于2026年2月9日被接收,并于2026年2月12日正式发表。

本研究属于水下目标检测与智慧水产养殖交叉领域,旨在解决低对比度、高动态水下环境中鱼类物种识别的准确性与效率平衡问题。在全球人口持续增长和对优质蛋白需求不断上升的背景下,水产养殖作为全球食品生产体系中增长最快的领域之一,其智能化、精细化管理水平直接关系到粮食安全与可持续发展。然而,水下视觉数据常受浑浊度、光照不均、色彩衰减、鱼类快速运动、姿态多样及密集遮挡等因素影响,导致图像模糊、对比度低、特征表征弱,使传统图像处理方法与早期机器学习方法在复杂水下场景中的检测性能显著下降。虽然以YOLO(You Only Look Once)系列为代表的深度学习单阶段检测框架在农业和水下目标检测中得到了广泛应用,但现有模型在面对小目标、运动模糊和密集遮挡时仍存在特征捕获不足、边缘表征不清晰和检测稳定性欠佳等局限。针对上述问题,本研究提出了一种基于YOLOv11n的轻量化增强检测网络SEAF-Net,通过三项结构性改进实现准确率、计算效率与鲁棒性的协同提升。

研究工作首先进行了数据集构建。研究团队通过八个主要步骤建立了包含13类鱼种的标准化数据集:首先调查淡水和海水养殖及自然水域中的物种分布以确定目标类别范围;其次从GitHub和Kaggle等开源平台收集公开鱼类图像数据集;然后利用基于Python的网络爬虫从公共网络资源中自动获取补充图像;接着组织四名经过训练的志愿者进行人工筛选和细粒度类别标注;再删除低质量、模糊和噪声干扰严重的样本;随后将所有图像统一转换为JPG格式并标准化分辨率;最后合并有效样本并按7:2:1的比例随机划分为训练集、验证集和测试集。质量控制前共获得约9500张候选图像,经多阶段筛选后得到8242张最终图像,其中训练集5770张、验证集1648张、测试集824张。所有图像统一转换为RGB色彩空间并缩放至640×640像素分辨率,采用质量因子为95的JPEG压缩格式保存。该数据集包含天使鱼、蓝吊、蝴蝶鱼、小丑鱼、金鱼、丝足鲈、神像鱼、月光鱼、条纹胡椒鲷、三带雀鲷、黄丽鱼、黄吊和斑马鱼共13个类别,在形态特征、颜色分布、体型大小和水下场景条件方面具有显著多样性。

在基线模型选择阶段,研究团队对YOLOv8至YOLOv12的轻量级(n/t)和中轻量级(s)版本在构建的数据集上进行了系统训练与评估。结果表明,YOLOv11n以6.5 GFLOPs的计算量实现了94.049%的map50、74.231%的map和90.012%的F1分数,在准确率与推理效率之间表现出最优平衡,因此被选为后续改进的基线模型。YOLOv11保持了骨干网络(backbone)、颈部(neck)和检测头(head)的三阶段架构,在骨干中引入轻量卷积和重参数化策略,在颈部采用改进的双向特征金字塔网络(BiFPN)实现多尺度特征加权融合,在检测头采用解耦结构分别建模分类与回归任务。

SEAF-Net的核心创新包含三个模块级改进。第一项改进是在骨干网络中引入全维动态卷积(Omni-dimensional Dynamic Convolution,ODConv),替代初始标准卷积层。ODConv在空间域、输入通道、输出通道和卷积核数量四个维度上进行动态建模,通过全局平均池化与轻量注意力网络生成多维注意力向量并融合得到最终权重系数,从而自适应调整卷积核方向和感受野范围。与仅在单一维度引入动态性的CondConv相比,ODConv提供了更强的非线性表征和方向性特征建模能力,能够更有效地提取鱼鳍边缘纹理、体表斑纹、身体轮廓和姿态变化特征,同时仅增加极小的计算负担。第二项改进是将SimAM(Simple Attention Module,简单注意力模块)嵌入空间金字塔池化快速层(Spatial Pyramid Pooling-Fast,SPPF),形成SimA-SPPF模块。SimAM是一种受神经科学空间抑制原理启发的无参数注意力机制,通过构建能量函数度量每个神经元与其局部邻域之间的对比度,对三维特征张量中的每个神经元进行细粒度显著性重加权,无需引入额外可训练参数。在SimA-SPPF中,输入特征先经1×1卷积压缩,再经三次不同感受野的最大池化操作,池化结果沿通道维度拼接后由SimAM进行神经元级显著性重加权,最后通过1×1卷积融合输出。该设计实现了多尺度上下文聚合与基于能量的神经元级注意力增强的协同效应,显著提升了复杂水下背景下的特征信噪比和目标判别力。第三项改进是基于GhostNet中的GhostBottleneck结构重构C3k模块为GhostC3k2模块。GhostBottleneck将特征图分解为内在特征和幽灵特征,先通过轻量卷积提取内在特征,再通过线性变换和逐通道操作生成冗余特征,从而在大幅降低FLOPs的同时保持足够的表征能力。GhostC3k2在双分支C3结构中增加了GhostBottleneck单元的深度和连接性,实现了跨层语义交互的增强。

在实验设置方面,所有实验在配备NVIDIA V100 GPU的工作站上进行,使用16核CPU并行执行数据预处理和增强。批大小固定为32,初始学习率为0.001,优化器采用AdamW,权重衰减为0.0005,最大训练轮数为800并应用早停机制(耐心值为50)。评估指标包括精确率(Precision)、召回率(Recall)、F1分数(F1-score)、平均精度均值(mAP)、GFLOPs和混淆矩阵。

在对比实验中,SEAF-Net在轻量级模型组中达到了92.683%的精确率、88.459%的召回率、93.333%的map50、73.445%的map、90.522%的F1分数和6.1 GFLOPs的计算量。与基线YOLOv11n相比,SEAF-Net的召回率提高了0.575%,F1分数提高了0.510%,同时计算量降低了约6%。这一结果表明,SEAF-Net在不增加推理开销的前提下增强了目标存在性判别能力,尤其在降低漏检方面表现突出,这对低对比度、模糊边界和杂乱背景的水下场景尤为重要。

消融实验进一步揭示了三个模块的差异化贡献。移除GhostC3k2导致计算量从6.1 GFLOPs增至6.5 GFLOPs,F1分数从90.522%降至90.386%,表明GhostC3k2在压缩冗余计算的同时保持了检测精度。移除ODConv后F1分数降至90.375%,map降至73.391%,多个指标的一致下降证实了ODConv在动态适应目标形状、方向和模糊边界方面的鲁棒性增强作用。而将SimA-SPPF替换回原始SPPF模块造成的性能下降最为显著:精确率从92.683%骤降至90.799%,F1分数下降超过1.1个百分点,map从73.445%降至72.309%,说明SimAM的神经元级显著性重加权在抑制背景杂波和浑浊诱导伪纹理方面发挥了主导作用。三个模块的协同整合使SEAF-Net在轻量计算约束下实现了检测性能的最优平衡。

为评估实际部署可行性,研究团队在配备NVIDIA RTX 3060 GPU的笔记本电脑上使用最佳模型检查点对测试集进行了推理测试。SEAF-Net最终取得了87.06%的精确率、90.08%的召回率、92.17%的map50、70.12%的map和88.54%的F1分数。与计算复杂度相当的其他轻量级YOLO模型相比,SEAF-Net在召回率和F1分数上表现出最均衡的整体性能,有效避免了精确率与召回率之间的常见折衷。

本研究的结论是,SEAF-Net通过ODConv、SimA-SPPF和GhostC3k2三项结构性增强的协调整合,在仅6.1 GFLOPs的计算成本下实现了90.522%的F1分数和88.459%的召回率,显著优于同级别的轻量级检测模型。该模型在部署导向条件下的测试集评估中保持稳定泛化能力,证明了其在资源受限场景下的实际应用潜力。本研究的科学价值在于提出了一个面向水下检测特征的任务驱动型轻量化架构设计策略,而非孤立模块的简单堆叠。其应用价值体现在为低碳、可扩展和可持续的智能水产养殖监测及水下生态评估提供了实用技术支撑。研究的主要亮点包括:SimA-SPPF在复杂背景抑制中的主导作用得到定量证实;ODConv对形变和方向性纹理建模的持续增强效果具有跨指标一致性;GhostC3k2在保持精度的同时实现计算效率的显著提升。此外,研究团队还公开了数据集和训练配置以提升可复现性,为后续水下检测研究提供了标准化基准。研究同时指出了极端浑浊、严重遮挡和视觉相似物种混淆等典型失败场景,以及未来在跨场景泛化、超低功耗部署、时序建模和多模态感知融合方面的改进方向。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com