本文报道了一项针对工厂化水产养殖环境中多目标鱼类追踪的创新研究。该研究由王炳思（bingsi wang）、魏曦（xi wei）、张博涵（bohan zhang）、王建锐（jianrui wang）、陈英义（yingyi chen）和顾卓尔（zhuoer gu）等人完成，第一作者王炳思来自中国农业大学信息与电气工程学院，通讯作者顾卓尔来自中国农业大学国际学院北京。研究成果于2026年10月5日在线发表于《aquaculture international》期刊第34卷第306号，论文标题为“Occlusion-aware multi-target fish tracking with persistence modeling and unity-based synthetic dataset”。

该研究属于计算机视觉与水产养殖交叉领域，聚焦于智能工厂化水产养殖中的多目标鱼类追踪问题。在现代工厂化循环水养殖系统中，基于视觉的自动化鱼类追踪对行为分析、疾病早期检测、精准投喂和福利监测等任务至关重要。然而，工厂化养殖环境中的鱼类追踪面临三大核心挑战：个体外观高度相似、游动轨迹高度非线性且频繁急转、高质量逐帧身份标注数据稀缺且生产成本高昂。现有的通用多目标追踪方法在行人、车辆等常规场景中取得了显著进展，但这些方法通常依赖线性或局部平滑运动假设，无法有效应对鱼类剧烈的非线性游动和频繁遮挡。基于外观特征的再识别方法在密集养殖环境中也因鱼类纹理、颜色和体型高度相似而难以维持身份一致性。因此，本研究旨在提出一种专门针对工厂化水产养殖环境的遮挡感知多目标鱼类追踪框架，并通过合成数据生成缓解标注数据不足的问题。

研究的工作流程包括三个主要环节：数据构建、追踪算法设计和实验验证。在数据构建阶段，研究团队首先构建了一个真实世界数据集。他们使用海康威视DS-2DC2402IW-DE3 S6 B型相机，以1920×1080分辨率和30帧每秒的采样率，从距离圆形养殖池水面约3.6米的高度垂直向下拍摄金鱼视频。养殖池直径为3.3米，实验用金鱼平均体长约17.3厘米。研究收集了三种不同密度场景的视频：5条鱼场景191帧、10条鱼场景355帧、21条鱼场景152帧。为量化目标间遮挡程度，研究者采用边界框重叠率作为指标，当两个边界框的交集面积至少覆盖较小框的60%时记为一次遮挡。根据该标准，5条鱼、10条鱼和21条鱼场景中每帧平均遮挡次数分别为0.735、1.242和3.934，表明遮挡频率随鱼群密度增加而显著上升。所有视频均使用DarkLabel软件进行逐帧人工标注，为每条鱼分配边界框和连续身份标签，并按MOTChallenge标准格式组织。为了公平评估，每个真实世界序列按7:1:2的比例进行密度分层时序划分。在合成数据构建阶段，研究者开发了一个基于Unity引擎的仿真数据生成框架。该框架包含鱼类建模、养殖环境建模和数据生成三个部分。鱼类模型采用一个包含1010个顶点和1552个三角形的鲤科鱼类预制体，具备四种基本动画状态：静止、游动、左转和右转。模拟养殖环境定义为一个25×24 Unity单位的封闭矩形区域，鱼群数量和密度可配置。每条鱼的初始位置在区域内均匀采样，初始偏航角在0°至360°之间随机选择，前进速度在0.5至1.0 Unity单位之间随机设置。行为控制器概率性地选择直线游动、左转或右转，直线游动持续时间随机采样于0.3至0.8秒，转向持续时间随机采样于0.2至0.45秒，转向角度在10°至35°范围内随机选择。遮挡不是预先设定的脚本行为，而是由多鱼在封闭环境中独立运动自然产生的空间交互所致。虚拟相机以顶视视角输出1920×1080分辨率、30帧每秒的图像，每条序列最多包含1500帧。每条合成鱼被分配持久身份标识，边界框和行动标签自动导出为MOTChallenge格式。本实验中合成数据集包含三种密度配置：15条鱼1000张图像、25条鱼1500张图像、50条鱼1000张图像，共3500张合成图像，全部仅用于检测器训练和验证，按7:3比例划分。在追踪算法设计阶段，研究者提出了名为OTSFT的遮挡感知追踪框架，该框架包含三个核心创新模块。第一个核心模块是封闭环境持久性策略。现有追踪算法通常基于开放世界假设，即目标可以自由进入和离开视野，当轨迹连续数帧未匹配时即被终止。然而在封闭养殖池的顶视监控场景中，鱼类被物理约束在固定水体中，临时检测失败主要源于遮挡、姿态变化、水面扰动或光照干扰，而非目标真正消失。因此OTSFT采用封闭环境持久性先验，未匹配轨迹不会被立即终止，而是假设目标仍在可观测区域内，优先考虑重现身时的身份恢复。研究者同时指出该先验的适用范围和局限，例如在盲区、强光反射、剧烈行为变化或真实消失事件下可能失效。第二个核心模块是遮挡检测模块。该模块并非简单地将所有未匹配轨迹视为遮挡，而是通过时间、空间和运动合理性三重条件进行选择性激活。具体条件包括：未匹配持续时间处于合理范围、预测中心位于图像边界内且有足够边距、预测运动速度未超过归一化阈值。只有通过所有检查的轨迹才进入遮挡状态，激活遮挡感知补偿。在遮挡期间，系统暂停测量更新，仅执行卡尔曼滤波的预测步骤，同时对速度分量施加衰减系数以抑制长期漂移，并对预测边界框进行适度扩展以增加重新关联的鲁棒性。速度衰减系数设为0.85，边界框扩展因子设为1.05。整个遮挡区间内系统记录预测状态及其协方差矩阵，为后续轨迹精化提供历史信息。最大轨迹存活年龄设为10帧，用于在保留临时未匹配轨迹和防止过期轨迹过度保留之间取得平衡。第三个核心模块是双向RTS轨迹精化。当目标成功重新关联时，系统触发基于Rauch-Tung-Striebel平滑算法的双向平滑机制，对遮挡区间内的历史状态进行后验校正。该过程从目标重现时刻开始，向后平滑至初始遮挡帧，通过整合未来观测来减少遮挡期间累积的预测误差。具体流程包括：基于当前平滑协方差和状态转移矩阵计算下一步的预测协方差，利用平滑后的下一时刻状态估计与正向预测状态之间的偏差通过平滑增益反向传播校正当前状态，同时更新协方差矩阵以保持估计与不确定性的一致性。该双向平滑过程仅在遮挡后成功关联时触发，而非持续执行，从而在计算效率和轨迹一致性恢复之间取得平衡。在实验验证阶段，研究者使用YOLOX检测器进行50个轮次的训练，实验平台为配备8GB显存的NVIDIA GeForce RTX 4060 GPU的工作站。为评估合成数据增强的效果，检测器分别在仅真实数据、仅合成数据和混合数据三种配置下训练。结果显示仅使用合成数据训练时检测性能较低，但将合成数据与真实数据结合训练时所有评估指标均达到最佳，其中mAP@0.5从0.979提升至0.985，mAP@0.5:0.95从0.671提升至0.713。这些结果表明合成数据提供了对真实数据的补充信息而非替代信息，真实数据保留了实际养殖环境的纹理、光照和成像特性，而合成数据则扩展了姿态、密度和遮挡配置的多样性。

在追踪性能对比实验中，OTSFT与多种代表性方法进行了比较，包括DeepSORT、FairMOT、TrackFormer、MOTR、MOTRv2、CenterTrack、TransCenter、ByteTrack、Bot-SORT和OC-SORT等。所有方法使用相同的YOLOX检测器输出和相同的MOT评估协议。结果显示OTSFT在真实世界鱼类追踪数据集上达到了95.6%的MOTA和87.4%的IDF1，仅发生51次身份切换。相比之下，最强的基线OC-SORT达到了95.7%的MOTA和84.1%的IDF1，但发生了82次身份切换。ByteTrack和Bot-SORT虽然MOTA分别达到94.9%和95.0%，但IDF1仅为70.1%。基于外观特征的DeepSORT表现最差，IDF1仅为31.8%，身份切换高达398次，证实了外观关联在鱼类个体高度相似场景中的不可靠性。OTSFT相比OC-SORT将IDF1提升了3.3个百分点，身份切换减少了37.8%。消融实验进一步揭示了各模块的贡献：基线配置达到95.7% MOTA和84.1% IDF1，加入遮挡检测模块后IDF1提升至87.4%，身份切换从82降至61；再加入双向RTS平滑后，MOTA恢复至95.6%，身份切换进一步降至51。这表明遮挡检测模块主要通过维护候选轨迹改善身份级匹配，而RTS模块主要通过在遮挡恢复阶段精化状态转移来减少身份切换，两者具有互补效应。在公共数据集上的泛化实验显示，OTSFT在MFT22数据集上总体达到95.8% MOTA和68.5% IDF1，在OPTmft数据集上总体达到89.9% MOTA和64.2% IDF1。在高密度进食场景中性能出现下降，IDF1仅45.1%，身份切换达292次，表明极端高密度和剧烈运动仍是当前基于运动的追踪框架面临的最困难场景。

本研究的核心结论是：针对工厂化水产养殖中频繁遮挡、高密度聚集和外观相似性等挑战，所提出的遮挡感知多目标鱼类追踪框架通过在运动基线之上集成遮挡检测模块和双向RTS平滑机制，在多数养殖场景中显著增强了身份保持能力并减少了身份切换次数。该研究的科学价值在于提出了一种专门适配封闭养殖环境的运动建模与轨迹精化方法，证明了封闭环境持久性先验在鱼类追踪中的有效性，并通过系统性的灵敏度分析和消融实验验证了各模块的贡献。应用价值方面，所提出的Unity合成数据生成框架能够以极低成本自动生成带有连续身份标注的训练数据，为解决实际养殖场景中标注数据稀缺问题提供了可行方案。OTSFT框架在真实工厂化养殖数据和跨物种公共基准上的稳定表现展示了其在智能水产养殖监控系统中的实用部署潜力。研究的亮点包括：首次将封闭环境持久性假设与遮挡触发的双向RTS平滑机制结合用于鱼类追踪，通过速度衰减和边界框扩展策略有效抑制了遮挡期间的预测漂移，以及系统性地验证了合成数据作为真实数据补充的训练策略有效性。敏感性分析表明所选择的参数值位于广泛的稳定高性能区域，而非孤立的峰值点，这为算法的实际部署提供了鲁棒性保障。研究也坦诚指出了当前方法的局限性，特别是在极端高密度进食场景中的性能退化，并为未来工作指明了方向，包括引入更先进的运动建模方法和收集更大规模复杂养殖条件下的数据集。此外，参数化的仿真框架为未来系统性地生成不同浊度和光照条件下的合成数据提供了基础，而未来的真实数据采集将纳入水质浊度和光照的定量测量。