分享自:

SDYOLO跟踪器:一种高效的多鱼缺氧行为识别与跟踪方法

期刊:Computers and Electronics in AgricultureDOI:10.1016/j.compag.2025.110079

本文属于类型a,即单一原创研究的学术论文。以下是对该研究的详细学术报告:

基于SDYOLO-Tracker的多鱼类缺氧行为识别与跟踪方法研究报告

一、研究作者与发表信息

本研究由来自中国农业大学的多位学者共同完成。第一作者为Jiaxuan Yu,通讯作者为Daoliang Li。其他作者包括Guangxu Wang、Xin Li、Zhuangzhuang Du、Wenkai Xu和Muhammad Akhter。研究团队隶属于中国农业大学国家数字渔业创新中心、智慧养殖技术与装备农业农村部重点实验室、北京农业物联网工程技术研究中心以及信息与电气工程学院。该论文发表于《Computers and Electronics in Agriculture》期刊第232卷,文章编号为110079,于2025年2月19日在线发表。

二、研究背景与目的

在水产养殖领域,鱼类行为监测与分析对现代养殖管理具有至关重要的作用。鱼类行为的变化能够间接反映水体中各种水质参数的异常情况。其中,溶解氧含量是影响鱼类生命活动的最重要水质指标。水体缺氧不仅会影响鱼类的形态结构和生理状态,还会对其生存、发育和繁殖等生命过程产生负面影响,严重缺氧甚至可能导致鱼类大规模死亡。

传统的鱼类缺氧应激行为观察方法依赖经验判断,耗时费力,无法满足现代集约化水产养殖的实时监测需求。电子传感器虽然能有效监测鱼类活动状态,但可能引起鱼类应激反应且实时性较差。水声标记监测技术虽然定位准确、数据连续性好,但由于水听器成本高昂,在实际养殖中应用较少。计算机视觉与深度学习技术的结合作为一种非侵入式、高效且具备实时性的工具,已成为监测鱼类异常行为的有效解决方案。

然而,现有的多目标跟踪研究主要集中于鱼类位置跟踪,缺乏对行为信息的量化分析,限制了对鱼类当前状态的评估能力。因此,本研究旨在提出一种基于计算机视觉的多目标跟踪方法(SDYOLO-Tracker),以实现对鱼类缺氧应激行为的精准识别、跟踪与量化分析,并为不同鱼类的缺氧阈值确定提供新的研究途径。

三、研究的详细工作流程

(一)实验设计与材料准备

本研究选用了三种鱼类作为实验对象:鲟鱼(acipenseriformes)、鲈鱼(lateolabrax japonicus)和拉氏鱥(P. lagowskii)。所有实验鱼均来源于中国农业大学国家数字渔业创新中心的172实验室循环水养殖系统。实验前,鱼类每天喂食两次,持续驯化15天。循环水系统配备曝气盘以维持溶解氧浓度在8 mg/L以上,水温恒定在15°C。实验开始前24小时停止喂食。每种鱼各15尾,整个实验过程中无死亡记录。

实验装置包括两个方形鱼缸(长宽高均为60厘米)、摄像机、相机支架、便携式溶解氧传感器(OxyGuard Handy Polaris 2 H01P2)和计算机。视频以1920×1080像素分辨率、每秒30帧的帧率进行采集。为减少光照影响,鱼缸内壁铺设白色壁纸,并在实验期间进行补光处理。

实验采用氮气鼓泡法降低水中溶解氧浓度。通过曝气盘向水中引入氮气,改变溶解氧的分压,从而去除水中的氧气。实验设置了8 mg/L、6 mg/L、4 mg/L、2 mg/L和1 mg/L五个溶解氧浓度梯度。实验使用两个鱼缸——实验缸A(数据采集缸)和静置缸B。首先在初始浓度8 mg/L下观察鱼类行为并采集10分钟视频数据,然后将鱼移至静置缸B,向实验缸A通入氮气降低溶解氧浓度至下一梯度,待水体稳定后将鱼移回缸A,再次采集10分钟视频数据。此过程在三个鱼种上依次进行。考虑到转移过程中鱼类的潜在应激反应可能影响实验结果,仅对每个视频数据段的最后5分钟进行处理和分析。

(二)数据采集与数据集构建

由于水下环境可能存在折射或反射现象导致图像畸变,研究在数据采集前进行了相机标定。采用经典的张正友标定法,将标定板放入水中,通过移动标定板在不同位置和角度采集图像,获取相机的内外参数和畸变参数。畸变分为径向畸变和切向畸变,分别通过公式(1)和(2)进行校正。

实验视频在国家数字渔业创新中心D9实验室采集。使用FFmpeg软件从三种鱼类在五个溶解氧浓度下的录像中截取5分钟片段。构建了两个数据集:一个用于训练鱼类目标检测模型,另一个用于验证多目标跟踪算法性能。目标检测数据集以每秒一帧的频率从视频中抽取图像,从每种鱼的图像中随机选择500张,三种鱼共1500张图像,按7:2:1的比例划分为训练集(1050张)、验证集(300张)和测试集(150张)。值得特别注意的是,由于鱼体在游动中可能弯曲导致坐标计算误差,标注时使用LabelImg软件仅标注鱼头部位,因为鱼头在运动中保持刚性不变形,标注鱼头可以更精确地计算行为指标。多目标跟踪验证数据集从每种鱼在8 mg/L溶解氧浓度下的录像中提取2分30秒至3分钟的视频片段,每个片段持续30秒,使用DarkLabel软件进行标注。

(三)目标检测模型构建与改进

研究采用基于检测的跟踪(tracking-by-detection,TBD)策略的两阶段目标跟踪方法。第一阶段由检测器对每帧图像进行目标定位,提取检测框序列的外观和运动特征;第二阶段使用数据关联算法建立连续帧间的身份关联。考虑到水产养殖系统硬件条件相对落后,研究选择了对硬件要求较低的YOLOv8n作为基线模型,其在模型大小和精度之间提供了平衡的折中。

YOLOv8网络模型由骨干网络(backbone)、颈部网络(neck)和头部网络(head)三部分组成。骨干网络包含Conv、C2f和SPPF结构,负责特征提取。与YOLOv5不同,YOLOv8使用C2f模块替代C3模块,该模块结合了C3和ELAN结构形成了CSPDarknet53两阶段特征金字塔网络,具有更强的特征提取能力。颈部模块采用路径聚合网络(PAN)结构,增强了不同尺度目标特征的融合能力。头部部分将耦合头替换为解耦头,将YOLOv5的基于锚框(anchor-based)方法转变为无锚框(anchor-free)方法。

针对鱼头在图像中占比小、属于小目标检测的范畴,研究对原始YOLOv8n模型进行了两项关键改进:

第一项改进:SPD-Conv模块。 鱼头等小目标在检测过程中经常面临细粒度信息丢失和特征学习不足的问题。SPD-Conv由空间到深度(space-to-depth,SPD)层和非跨步卷积(non-strided convolution,NS-Conv)层组成。SPD层将尺寸为S×S×C1的中间特征输入X切割为一系列子特征图fx,y,每个子特征图尺寸为(S/scale, S/scale, C1)。所有子特征图沿通道维度拼接得到特征图X‘(S/scale, S/scale, scale²C1),随后输入包含C2个滤波器的非跨步卷积层,输出特征图X’‘(S/scale, S/scale, C2)。该方法通过将特征图的空间维度转换为深度维度并增加通道数来保留小目标的更多细节信息。研究使用SPD-Conv层替换YOLOv8模型骨干网络中的卷积下采样模块。

第二项改进:D-LKA注意力机制。 可变形大核注意力(Deformable Large Kernel Attention,D-LKA)将大卷积核的宽感受野与可变形卷积的灵活性相结合。该模块利用可变形卷积调整采样网络的整数偏移来创建偏移场,并基于特征学习自适应卷积核。与传统注意力方法不同,它不需要额外的归一化函数,避免了可能忽略高匹配信息而降低注意力机制性能的问题。在2D网络架构中,编码器生成4层分层输出表示,通过卷积初始层将输入图像尺寸缩减至H/4×W/4×C。解码器实现4阶段DLKA层,每层包含2个DLKA块。2D D-LKA块结构由LayerNorm、D-LKA和多层感知机(MLP)组成,通过残差连接确保深层特征的有效传播。研究在C2f模块基础上引入D-LKA注意力机制,提出了C2f-DLKA算法。

改进后的模型命名为SDYOLOv8,其整体框架在论文图3中展示。

(四)多目标跟踪算法选择

研究采用ByteTrack多目标跟踪算法。ByteTrack的独特之处在于对高置信度和低置信度检测框分别处理,避免了简单移除低置信度检测结果的做法。算法首先通过设定阈值将检测结果分为高置信度和低置信度两部分。高置信度框优先用于延续前一帧的跟踪轨迹,低置信度框随后用于匹配未被高置信度框匹配的跟踪轨迹。对于未匹配到跟踪轨迹且置信度足够高的检测框创建新的跟踪轨迹。对于未匹配到检测框的跟踪轨迹,可保留一定数量的帧数,在目标重新出现时进行匹配。这种方法有助于在短暂遮挡后恢复鱼类ID,显著减少ID切换次数,增强跟踪算法的鲁棒性。ByteTrack采用匈牙利算法实现精确的数据关联,并利用卡尔曼滤波器预测目标运动轨迹,有效提高了数据关联的准确性和稳定性。

(五)评估指标体系

目标检测评估采用精确率(precision)、召回率(recall)、mAP@0.5和mAP@0.5:0.95作为性能指标。多目标跟踪评估采用高阶跟踪精度(Higher Order Tracking Accuracy,HOTA)、多目标跟踪精度(Multi-Object Tracking Accuracy,MOTA)、多目标跟踪精确度(Multi-Object Tracking Precision,MOTP)、ID F1分数(IDF1)、ID召回率(IDR)和ID切换次数(IDSW)作为评估指标。

四、主要研究结果

(一)目标检测模型性能

在目标检测模型对比实验中,改进后的YOLOv8n模型(SDYOLOv8)实现了98.5%的精确率,召回率提高了1.6%,mAP@0.5:0.95提高了1.6%。与YOLO系列其他主流模型相比,所有指标均达到最优。消融实验表明,SPD-Conv模块的引入使召回率和mAP@0.5分别提高了1.7%和0.6%,有效增强了模型对鱼头等小目标的检测能力。D-LKA模块的整合使模型在检测不同缺氧条件下鱼类时具有更高的稳定性。改进后模型的精确率从97.3%提升至98.5%,召回率从94.1%提升至95.7%。在三种鱼类的检测中,鲈鱼的mAP@0.5达到99.0%,鲟鱼为98.8%,拉氏鱥为96.8%,展现了良好的泛化能力。拉氏鱥检测精度相对较低可能与其群游行为导致的图像遮挡有关。

(二)多目标跟踪性能

SDYOLOv8模型与ByteTrack结合后,与原始YOLOv8n相比,HOTA提高了3.53%,IDR和IDF1分别改善了6.68%和5.36%,MOTA达到92.84%,ID切换次数减少了3次。与七种其他多目标跟踪算法的对比实验中,ByteTrack的IDR和IDF1分别达到81.25%和82.98%,在八种算法中均为最高。ID切换次数仅为13次,为所有测试模型中最低。在计算速度方面,ByteTrack在测试视频中达到每秒45.03帧的处理速度。可视化对比分析显示,ByteTrack通过引入低置信度预测框的二次匹配过程,在随机选取的三帧鲟鱼验证视频中未出现漏检或ID切换,实现了最优的跟踪性能。

(三)鱼类缺氧应激行为分析

鱼类活动量与耗氧量密切相关,是判断鱼类缺氧程度的可靠指标。在活动量分析中,拉氏鱥单位时间活动量最高、最为活跃,其次为鲟鱼,鲈鱼活动量最低。鲈鱼和拉氏鱥在溶解氧浓度从8 mg/L降至4 mg/L区间活动量无显著变化,但分别在4 mg/L至2 mg/L和2 mg/L至1 mg/L区间出现显著下降。鲟鱼表现出先降后升的趋势,在溶解氧从6 mg/L降至4 mg/L时出现最早的活动量下降,表明其对缺氧的耐受性最差;当浓度降至1 mg/L时,鲟鱼活动量出现反弹,推断其可能表现出逃避缺氧环境的应激行为。

平均速度分析显示,鲈鱼在溶解氧浓度降至2 mg/L以下时游速显著下降,至1 mg/L时几乎静止。鲟鱼在浓度降至4 mg/L时游速轻微下降,2 mg/L时大幅下降,但降至1 mg/L时平均游速反而增加。拉氏鱥在浓度高于2 mg/L时平均游速无明显变化,仅在降至1 mg/L时出现显著下降。最大瞬时速度曲线趋势与平均速度相似,但鲟鱼在1 mg/L时最大瞬时速度急剧增加并超过正常水平,明确表明其在极低溶解氧环境中出现缺氧应激行为和加速度的急剧上升。综合各项指标,三种实验鱼的缺氧耐受性排序为:拉氏鱥最强,其次为鲈鱼,鲟鱼最弱。

五、研究结论与价值

本研究提出了基于检测跟踪范式的改进多目标跟踪算法SDYOLO-Tracker,用于监测水产养殖中鱼类的缺氧应激行为。通过对YOLOv8n引入SPD-Conv和D-LKA模块,改进模型实现了98.5%的检测精确率和95.7%的召回率。改进模型与ByteTrack结合后,IDR和IDF1在八种算法中表现最佳,ID切换仅发生13次,为所有测试模型中最低,且处理速度最快。通过建立不同溶解氧浓度梯度,研究确定了各鱼种的缺氧阈值,实现了对鱼类缺氧行为的早期监测。该方法在智能渔业和精准管理方面具有重要的理论意义和应用价值,对提升水产养殖的生产力、动物福利和经济效益具有积极贡献。

六、研究亮点

本研究的主要亮点包括:第一,创新性地将SPD-Conv引入鱼类检测模型,通过消除跨步卷积和池化层有效避免了小目标细粒度信息的丢失;第二,引入D-LKA注意力机制,将大卷积核的宽感受野与可变形卷积的灵活性相结合,在不增加显著计算开销的情况下增强了模型对鱼类形状和大小变化的适应能力;第三,提出了完整的鱼类缺氧应激行为分析框架,通过活动量、平均速度和最大瞬时速度等多维指标实现了对不同鱼种缺氧阈值的定量确定;第四,研究建立的缺氧阈值确定方法可推广至其他鱼类品种,低缺氧耐受性鱼类可作为其他养殖品种的指示物种,在循环水养殖健康监测预警系统中具有替代传感器的潜力。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com