本文提出了一种名为Fish Seg-Tracker的新型计算机视觉框架，旨在解决智能水产养殖中鱼群个体跟踪与摄食量估算的难题。该研究由Lei Wang（浙江大学）、Xin Wu、Yufeng Xie、Chen Yang（浙江理工大学）以及通讯作者Weiming Cai（浙大宁波理工学院）等人合作完成，发表于*Information Processing in Agriculture*期刊（2026年）。

在智能水产养殖背景下，非侵入式的视觉跟踪与个体识别是分析鱼类行为、评估生长状况的关键数据来源。精准的个体摄食量估算对于循环水养殖系统中的选育工作至关重要。然而，传统计算机视觉算法在鱼群跟踪场景中普遍存在跟踪漂移（Tracking Drift）和身份切换（Identity Switching）等问题，严重限制了其实际应用价值。为此，本研究结合了增强型RT-DETR检测器与改进的SAM2分割模型，构建了一套全新的跟踪框架，以实现个体层面的高精度持续跟踪。

该框架的核心创新包括：首先，设计了一种动态滑动窗口掩码注意力机制（Dynamic Sliding Window Mask Attention Mechanism），用于处理任意长度的视频流；其次，构建了一个动态记忆库（Dynamic Memory Bank），在遮挡场景下既能维持目标的持久关联，又能注册新出现的目标并删除消失的目标。在这种像素级掩码轨迹的基础上，研究进一步提出了一种基于头部定位与趋近角度分析的摄食量量化方法，实现了对摄食行为的细粒度测量。

在方法实现上，检测器部分采用了改进的RT-DETR架构。原始RT-DETR使用ResNet50骨干网络提取三个空间尺度的层次化特征，并通过高效的混合编码器进行特征融合，最终由解码器输出分类与边界框预测。由于RT-DETR是端到端框架，无需非极大值抑制（NMS）后处理，因此在目标密集重叠的水产养殖场景中表现出优于YOLO系列检测器的精度。针对鱼体和饲料颗粒尺度差异巨大的问题，本研究引入了Poly Kernel Inception（PKI）模块，通过小卷积核提取局部细节，并以并行深度可分离卷积聚合多尺度上下文信息，显著提升了对尺度变化剧烈目标的检测能力。同时，针对微小饲料颗粒的检测，引入了归一化Wasserstein距离（NWD）损失函数。与传统的IoU指标不同，NWD对微小目标具有尺度不变性，且能有效评估密集排列但互不重叠目标的分布相似性，从而解决了IoU在微小尺度检测任务中的固有缺陷。实验表明，整合PKI与NWD后，检测器在鱼体与饲料颗粒检测任务上的map@0.50达到了94.9%，map@0.50:0.95达到了88.5%，均优于基线模型。

跟踪器部分以SAM2为基础进行了三项关键改进。第一，自动化提示生成：利用改进的RT-DETR检测结果作为SAM2的边界框提示（Bounding Box Prompts），替代了原始SAM2需要人工交互提示的环节。在每一帧中，检测器输出鱼体边界框，与前一帧传播而来的掩码实例计算IoU。若某个检测框与所有传播掩码的IoU均低于阈值τ，则判定该检测为新目标，并将其边界框送入SAM2作为新目标提示，实现自动目标添加。第二，滑动窗口传播机制：原始SAM2在接收到条件提示后会重新处理所有历史帧，导致计算复杂度随视频长度线性增长，且无法在跟踪过程中添加新目标或删除消失目标。改进后的方法将掩码传播限制在当前帧之前的时间窗口W（通常为5至15帧）内，仅利用窗口内的历史帧特征进行注意力计算，从而将内存占用从原始模型的线性增长O(T)降至常数O(W)。第三，动态目标增减机制：当某个目标的置信度分数连续n帧（n）小于0时，系统判定该目标已离开场景，将其特征向量保留在缓存中，但将其掩码从ID记忆中移除。若该目标在少于n帧内重新出现并通过特征向量成功匹配，则跟踪可无缝恢复。

在摄食识别方面，研究提出了一套基于个体跟踪的三步流程。第一步是饲料颗粒消失检测：由于RT-DETR在颗粒粘连或水面波纹等挑战性情况下仍可能出现漏检，仅监测帧间边界框数量波动不足以精确评估颗粒减少。为此，系统缓存每帧检测到的颗粒计数与质心坐标，并采用规则判断：若颗粒计数在连续N帧内下降，则触发潜在摄食事件。第二步是摄食主体验证：首先通过轮廓离散曲率分析与质心距离最小化相结合的方法定位鱼头位置，然后在颗粒消失帧计算鱼头与消失锚点之间的欧氏距离进行邻近性门控，最后计算鱼的趋近角度与头部速度进行方向与运动一致性判断。只有同时满足距离阈值（τd约为颗粒直径的1.8倍）、角度阈值（τθ为45度）和速度阈值（τv为0.5像素/帧）的候选鱼才会被确认为摄食主体。第三步是摄食事件聚合与量化：通过身份匹配将验证后的摄食事件聚合为个体层面的指标，包括摄食颗粒总数和摄食频率。

实验验证方面，研究构建了一个包含六个视频片段（分辨率为1920×1080，帧率为30fps，降采样至15fps）的室内循环水养殖数据集，其中三个片段包含摄食行为，三个片段仅用于检测与跟踪评估。数据集包含尼罗罗非鱼和大黄鱼两种鱼类，体长分别为5至10厘米和15至20厘米。从三个用于训练和评估的片段中提取了1532张训练图像和323张测试图像，并进行了人工标注。跟踪评估中，在检测器驱动条件下，Fish Seg-Tracker取得了IDF1为79.5、MOTA为76.3的成绩，优于ByteTrack和CMFTNet超过11个百分点，身份切换次数仅为41次，远低于对比方法的131至192次。在Oracle Box（使用人工标注的真实边界框）条件下，该方法仍以IDF1为88.7、MOTA为86.9保持领先。在公开基准FishTrack23上的跨数据集验证进一步证实了该跟踪器在多样化水下场景中的身份一致性。摄食识别实验中，数据集包含237个标注摄食事件，采用留一视频交叉验证策略。全流程取得了92.3%的分配准确率和91.8%的宏F1分数，头部定位的PCK(5px)达到88.9%，个体颗粒摄入量估算的平均绝对误差为1.5粒，皮尔逊相关系数达到0.917。

该研究的主要结论是：Fish Seg-Tracker框架实现了循环水养殖系统中稳健的多鱼跟踪与个体摄食量量化。其核心贡献在于将增强型RT-DETR与适配的SAM2传播循环相结合，解决了原始SAM2在无限视频长度、目标进出场景以及严重遮挡下的身份一致性等方面的局限性。该研究的科学价值在于提出了一种从像素级掩码传播角度解决鱼类跟踪难题的新范式，突破了传统边界框跟踪范式在严重遮挡与快速运动场景中的性能瓶颈。其应用价值在于个体摄食量的精准量化可直接用于计算精确的饲料转化率，为精准投喂决策提供数据支持，从而减少残饵，促进水产养殖管理的可持续性与经济性。然而，该研究仍属于实验室受控环境下的概念验证，在浑浊开放水域环境中的鲁棒性有限，且掩码传播模块的GPU内存占用较大，限制了推理速度。未来工作将聚焦于开发轻量化传播方案或蒸馏策略以加速推理，并通过跨养殖场、池塘类型和水质条件的数据集扩展与领域自适应来提升系统的泛化能力。