分享自:

YOLO-Starfish:面向复杂水下特征的鱼类目标检测

期刊:Scientific ReportsDOI:10.1038/s41598-026-44187-z

本文提出了一种名为YOLO-starfish的水下鱼类目标检测模型,并构建了一个水下淡水鱼类数据集UFFD(Underwater Freshwater Fish Dataset)。该研究由Rongrong Gong、Jihan Xu、Zhixiang Zheng和Dengyong Zhang等人完成,其中Rongrong Gong和Jihan Xu为共同第一作者,通讯作者为Dengyong Zhang。作者分别来自长沙民政职业技术学院软件学院和长沙理工大学计算机科学与技术学院。论文发表于《Scientific Reports》,于2026年发表。

从学术背景来看,该研究属于计算机视觉与水下机器人交叉领域,核心任务是水下目标检测(Underwater Object Detection)。随着人工智能技术的快速发展,越来越多的设备集成了AI算法用于天气预报、城市管理、智慧医疗和智能驾驶等场景。在水下环境中,由于鱼类栖息地遭到破坏,渔业资源减少,生态健康恶化,生物学家和渔业从业者需要利用水下视频和图像来估计鱼类的存在和数量。然而人工处理水下视频和图像不仅劳动密集、耗时、昂贵,而且容易出错。虽然深度学习技术为目标检测带来了突破,但水下目标检测面临着图像质量差、环境随机性高、鱼类隐蔽性强、光照变化、颜色通道不均衡、目标重叠、图像模糊等诸多独特挑战。此外,水下机器人通常要求低功耗和有限的计算资源。现有研究使用的数据集普遍缺乏遮挡、小目标和浑浊环境的样本,导致现有方法难以满足真实水下检测应用的需求。因此,本文的目标是构建一个更具挑战性的水下鱼类检测数据集,并在此基础上提出一个适应水下复杂环境的轻量化检测模型。

在具体工作流程上,该研究主要包括数据集构建和模型设计两个部分。在数据集构建方面,作者构建了UFFD数据集。该数据集的图像来源于广泛的淡水环境,通过从公开的在线学术和媒体平台收集水下视频资源,并使用自定义脚本以1秒为间隔自动提取帧,从而获得具有不同分辨率和质量的多样化图像。随后对高质量样本进行人工筛选,并使用LabelImg进行标注。最初计划仅收集和标注中国四大家鱼(青鱼、草鱼、鲢鱼、鳙鱼),但由于采集图像中包含许多其他鱼类,为避免误标,作者调整策略,对所有可识别的鱼类进行标注,无法识别的鱼类标注为“unknown fish”。最终UFFD包含19个类别标签(18种可识别鱼类和1种未知鱼类),训练集13,523张图像,验证集5,071张图像,共计18,594张图像,其中有16,904张不重复图像。数据集的类别实例数呈现明显的长尾分布(Long-tailed Distribution),少数头部类别占据了大多数样本,而尾部类别如鳡鱼、鲶鱼等仅含少量实例。在数据划分上,作者从16,904张唯一标注图像中随机选取20%(3,381张)作为验证集中的“unseen”部分,再从剩余13,523张图像中复制1,690张(占唯一数据集的10%)作为验证集中的“seen”部分,最终训练集包含13,523张图像,验证集包含5,071张图像。

在模型设计方面,YOLO-starfish以YOLOv8为基线模型,主要包含两个核心创新模块:C2Star模块和注意力驱动增强模块ADEM(Attention-Driven Enhancement Module)。C2Star模块的设计动机来源于水下图像形成模型Sea-thru。根据该模型,水下成像可以分解为直接透射分量和后向散射分量,其中场景辐射被透射因子进行乘性衰减调制,且这种衰减具有波长依赖性,导致不同颜色通道的非均匀抑制。受此物理调制机制的启发,C2Star模块利用“星操作”(Star Operation,即逐元素乘法,Element-wise Multiplication)来显式建模通道间的特征交互。星操作能将特征映射到高维隐空间,在不增加网络深度或宽度的情况下增强特征表达能力。具体实现上,C2Star模块将YOLOv8中C2F模块的Bottleneck替换为StarNet中的StarBlock模块,同时保留了C2F模块的多梯度流优势。每个StarBlock的最优随机深度(Drop Path)率为0.1。通过Grad-CAM-Plus热力图可视化分析表明,与原始C2F相比,C2Star生成的热力图在目标区域更加集中和准确,证实了星操作能够更有效地获取语义信息。ADEM模块位于YOLOv8骨干网络末端,其设计针对水下图像中颜色通道不均衡、光照变化和目标重叠等问题。ADEM首先将特征输入两个独立分支:通道驱动增强分支(Channel-driven Enhancement Branch)和空间注意力分支(Spatial Attention Branch)。在通道分支中,作者没有采用SE-Block风格的通道注意力结构(宽度从c压缩到c/2再恢复到c,为每个通道分配独立权重),而是采用全连接降维结构,将通道信息压缩为单个标量(宽度c→1),以建模颜色退化下通道相关线索的整体可靠性。随后,两个分支的输出通过逐元素最大值操作(Element-wise Maximum Operation)进行融合,最后将融合后的权重与原始输入特征相乘。使用最大值融合而非求和操作的原因在于:当通道权重值较小时,融合特征更多地传达空间信息;反之则更多地传达通道信息,从而使模型能够自适应地决定哪些特征图需要读取更多通道信息,哪些需要更多空间注意力特征。消融实验表明,与多种SE风格通道注意力变体(压缩比r∈{32,16,8,4,2})相比,所提出的c→1压缩策略以最低的计算开销获得了最佳性能。

在实验与结果方面,作者在三个数据集上进行了评估:RUOD水下生物数据集、UFFD数据集和COCO2017通用目标检测数据集。实验环境包括四块NVIDIA RTX3060显卡,输入图像尺寸为640×640,批量大小为64,优化器为SGD,初始学习率0.015,最终学习率0.01。消融实验结果显示,在YOLOv8n基线上,仅应用C2Star模块分别使RUOD、UFFD和COCO2017上的mAP50-95提升了0.2%、0.5%和1.9%;仅应用ADEM模块分别提升了0.4%、0.8%和0.5%;同时应用两个模块的YOLO-starfish则分别提升了0.5%、1.8%和3.5%,同时参数量和GFLOPs均低于原始YOLOv8n。在对比实验中,YOLO-starfish在RUOD上达到63.0% mAP50-95,在UFFD上达到76.2% mAP50-95,在COCO2017上达到40.8% mAP50-95,均优于同参数规模的先进模型(如YOLOX-Tiny、PPYOLOE-S、Gold-YOLO-N、YOLO-DC等),且具有更低的参数量和计算量。在UFFD数据集的类别级评估中,YOLO-starfish在大多数类别上均优于YOLOv8基线,特别是在尾部类别上提升更为显著,例如泥鳅(Mud Carp)提升了7.0%,鲶鱼(Amur Catfish)提升了3.6%,乌鳢(Channa Argus)提升了2.6%。“unknown fish”类别由于具有高类内变异性且不对应封闭集物种定义,YOLO-starfish将其AP50-95从55.2%提升至60.1%(+4.9%),表明模型对未见或模糊鱼类外观具有更好的泛化能力。

在结论方面,该研究通过提出YOLO-starfish模型和UFFD数据集,解决了水下检测专用框架严重短缺的问题。C2Star模块使模型能够学习复杂的水下特征,ADEM模块使模型更适应水下环境。实验结果表明,该方法在水下数据集和通用目标检测数据集上均取得了优异结果,同时保持了轻量化特性,适合资源受限的水下平台部署。该研究的科学价值在于揭示了星操作在水下光学退化建模中的物理一致性,以及通道压缩策略在颜色退化场景中的有效性;应用价值在于为水下鱼类监测、渔业资源评估和生态健康分析提供了高效的自动化工具。

该研究的亮点主要体现在三个方面:其一,提出了首个面向水下目标检测的多类别淡水鱼类数据集UFFD,包含19个类别和多样化的复杂水下环境;其二,将星操作引入YOLOv8骨干网络,利用其隐式高维特征映射能力来模拟水下光的乘性衰减机制,在降低参数量的同时提升了特征学习能力;其三,ADEM模块通过将通道信息压缩为单一标量并采用最大值融合策略,实现了对通道和空间信息的自适应平衡,优于传统SE风格注意力机制。此外,文章还公开了源代码,为后续研究提供了可复现的基础。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com