分享自:

基于深度学习的鱼类行为识别在智能水产养殖中的研究进展、挑战与未来展望

期刊:Aquaculture InternationalDOI:10.1007/s10499-026-02700-1

基于您提供的文档内容,以下是为您生成的学术报告:

本文为综述论文,通讯作者为 Ming Gao,其所属机构信息未在文内详列,但根据基金信息可推断其研究团队位于中国山东省。论文发表于 Aquaculture International 期刊,于2026年9月26日在线发表。文章系统梳理了深度学习在鱼类行为识别领域的研究进展,重点关注智能水产养殖的实际应用需求,并提出了当前面临的挑战与未来发展方向。

论文首先从数据基础与任务特征两个维度展开论述。在数据来源与数据集构建方面,作者指出目前数据主要来自公共数据集与自建数据集两类。公共数据集可细分为三类:第一类侧重轨迹分析与异常运动检测,例如 Fish4Knowledge trajectory ground truth dataset,该数据集从珊瑚礁鱼类视频中提取轨迹信息,将鱼类运动分为正常与罕见两类,适用于异常轨迹分析;第二类针对多鱼跟踪、姿态估计和三维重建,例如 3D-ZeF 提供斑马鱼多视角三维跟踪数据,适合多目标跟踪与三维轨迹分析;第三类直接面向特定行为识别任务,包括 MRS-FFIA 与 AFFIA3K,前者融合音频、视频及声呐多模态信息,后者专注于鱼类摄食声音;此外,近期发布的细粒度斑马鱼交互数据集将研究扩展至攻击、顺从和优势竞争等复杂社会行为。作者强调,尽管公共数据集日益丰富,但仍缺乏覆盖多鱼种、多场景、多行为类别并支持跨研究比较的标准化数据集。

在数据预处理与行为标注方面,作者指出原始数据常受水体浑浊、光照反射、水花飞溅及频繁遮挡等因素影响。针对单帧或短片段分类任务,通常采用图像增强、尺寸标准化和颜色归一化;针对连续视频,则采用滑动窗口、关键帧提取、光流构建或目标跟踪以保持时间连续性;在多鱼跟踪和骨架建模任务中,边界框校正、身份关联和关键点提取是重要的预处理环节。行为标注主要分为帧级、片段级和事件级三种格式,前两者常用于静态分类或短期行为识别,事件级标注更适合描述攻击、追逐、浮头或持续摄食等具有明确发生过程的行为。此外,半自动标注策略如 DeepEthogram 和 DeepLabCut 通过人工标注少量样本训练初始模型,再由模型生成初步标注并经人工校正,有效降低了标注负担。

在任务类型与评估指标方面,作者将任务分为分类、检测、跟踪和连续值预测四类。分类任务用于判断特定时刻或时间窗内的行为状态,是最广泛应用的类型;检测任务侧重于在图像或视频中定位与行为相关的目标;跟踪任务关注跨帧的个体身份保持与轨迹连续性;连续值预测任务用于估计摄食强度、活动水平或群体密度等连续变量。评估指标因任务而异:分类任务常用准确率、精确率、召回率和 F1 值;检测任务常用 IoU、AP 和 mAP;跟踪任务常用 MOTA、IDF1 和 HOTA;连续值预测任务常用 MAE 和 RMSE;此外,FPS 作为实时性指标,反映模型的实际部署潜力。

在具体行为识别研究进展方面,论文分四类进行了综述。摄食行为识别是研究最深入且最接近实际应用的方向。作者指出视觉识别是最早广泛应用的技术路线,如 Zhou 等人率先将基于 LeNet-5 架构的 CNN 应用于鱼类摄食强度识别,Zhang 等人改进 MobileNet 以应对真实养殖图像中小目标与强背景干扰问题。视频方法随后兴起,如 Måløy 等人结合空间特征提取、3D 卷积和 LSTM 进行鲑鱼摄食行为识别,Ubina 等人利用光流信息与 3D-CNN 评估摄食强度。声学识别方法通过咀嚼声、抢食声和水体扰动声判断摄食强度,Cui 等人构建的 AFFIA3K 数据集为该方向提供了数据基础,Zeng 等人将声音信号转换为语谱图并使用改进的 Swin Transformer 进行分类。多模态识别方法整合视频、音频、声呐或水质信息,Du 等人构建 MRS-FFIA 数据集并提出融合音频、视频和成像声呐的多模态模型;Cui 等人提出的 U-FFIA 框架通过模态丢弃与知识蒸馏降低计算成本;Gu 等人提出的 MMFINet 融入溶解氧信息以增强循环水养殖系统中的环境适应性;Li 等人提出的 ACAF-Net 根据环境条件自适应调整模态权重。作者还指出,利用多模态教师模型向轻量级单模态学生模型进行知识蒸馏,可在部署时只使用单模态,从而降低硬件要求。

繁殖行为识别主要服务于亲鱼管理与产卵过程监测。作者指出该任务面临三大挑战:繁殖行为发生频率低、采样周期长;不同鱼种繁殖行为表达差异显著;许多繁殖行为发生在夜间或低光照条件下。Du 等人提出的 ResNet50-LSTM-CBAM 模型利用 ResNet50 提取空间特征、LSTM 建模时间序列,并通过 CBAM 注意力机制增强关键行为特征表示。Du 等人在2023年进一步提出基于改进 YOLOv5L 的检测方法,使用红外成像模式采集夜间行为视频,将 SPPF 模块替换为 RFB 模块以增强特征提取,并在 PAN 组件中引入捷径连接与 CBAM 注意力机制。声学方法在石斑鱼等特定鱼种中具有应用价值,Ibrahim 等人利用迁移学习将声学信号转换为语谱图或尺度图后输入预训练网络进行分类,其2024年提出的 FADAR 系统专门针对加勒比石斑鱼的叫声检测与类型分类。Lancaster 等人提出的 SARTAB 系统通过目标检测判断慈鲷是否进入预定义感兴趣区域,进而推断求偶行为是否发生,并在低成本 TPU 设备上实现了实时行为检测。

社会交互行为识别主要涵盖聚集、跟随、攻击和求偶等过程。作者指出攻击行为是水产养殖中需特别关注的社会交互行为。Wang 等人将注意力机制引入 YOLOv5,构建了针对循环水养殖系统中幼年石斑鱼同类相食行为的实时检测方案;Lin 等人使用 YOLOv8 生成鱼类密度图并结合光流特征构建相食行为评估指标,将任务从单一事件检测扩展到定量风险评估。在精细交互建模方面,Fan 等人利用深度学习对斑马鱼进行三维轨迹跟踪,为建模社会交互与群体关系提供基础;Deligkaris 等人发布的细粒度斑马鱼交互数据集提供了长时间、高时空分辨率的二元交互记录,涵盖优势竞争和攻击/顺从行为模式。作者还提出了一套将社会行为建模与实际养殖视频结合的分步框架,包括长期视频采集、个体检测与跟踪提取交互特征、时间或交互建模方法表征配对与群体层面的行为关系,以及将行为指标与养殖管理变量关联验证。

健康与环境应激相关的异常行为识别主要面向早期风险预警。常见异常行为包括摄食减少、离群、翻滚和失去平衡。Wang 等人提出结合改进 YOLOv5 与 SiamRPN++ 的实时检测与跟踪方法,适用于循环水养殖系统中的固定摄像头预警场景;Li 等人提出基于图像融合与 BCS-YOLOv5 的单鱼异常行为检测方法,通过增强鱼类轮廓与位置信息提高相似异常行为的检测能力;Wang 等人在大黄鱼循环水养殖系统中采用改进 YOLOX-S 结合 ByteTrack 进行监测;Li 等人提出 DDEYOLOv9 用于复杂水生环境中的异常行为检测与计数。群体级环境应激状态识别方面,Wang 等人提出双流 3D 卷积网络 DSC3D,融合 RGB 视频与光流信息以识别正常、摄食、缺氧、低温和受惊等群体行为状态;Huang 等人使用图卷积网络将个体鱼表示为节点,结合运动指标和游泳姿态构建图结构以识别群体状态。在长期行为指标分析方面,Burke 等人利用计算机视觉算法分析商业大西洋鲑养殖场的鱼类活动水平,将空间分布、游泳速度和群体凝聚力等行为特征与鳃健康状态关联。

论文最后总结了当前领域面临的主要局限:公共数据集规模有限且行为标签缺乏统一标准,导致不同研究间的结果难以直接比较;复杂养殖环境中的水体浑浊、光照变化、遮挡和高密度养殖影响模型稳定性;模型跨鱼种与跨场景泛化能力不足;行为识别结果与实际管理决策之间存在鸿沟;多模态融合部署成本高;实时性与模型轻量化仍需加强。针对这些挑战,作者提出了未来研究方向:构建面向水产养殖需求的标准化行为数据集并建立统一标签体系;优化数据采集设置并引入图像增强与遮挡恢复算法;引入迁移学习、自监督学习、少样本学习和领域自适应方法提升泛化能力;将行为识别与投喂设备、水质指标和健康记录结合,形成闭环决策系统;采用知识蒸馏策略在训练时利用多模态信息而在推理时仅部署轻量级单模态模型;加强轻量化模型、模型压缩、边缘计算与硬件算法协同设计。论文的学术价值在于系统梳理了深度学习在鱼类行为识别中的技术路线与应用现状,为后续研究提供了清晰的框架;应用价值在于指出了从行为分类向决策支持转变的必要性,强调了行为识别融入投喂控制、水质调控和健康管理闭环系统的重要性,为智能水产养殖的落地提供了切实可行的路径参考。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com