本研究由Georgi Atanasov(保加利亚科学院生物多样性与生态系统研究所)、Martin Ilarionov(索非亚技术大学应用数学与信息学系)、Kapka Mancheva(保加利亚科学院生物物理与生物医学工程研究所)和Zlatko Zahariev(索非亚技术大学应用数学与信息学系)共同完成,发表于Aquac. J. 2026年第6卷第52期,文章于2026年10月24日正式在线发表。
该研究属于计算机视觉与水产养殖监测的交叉领域,核心科学问题是:在视觉高度同质的斑马鱼群体中,当遮挡导致跟踪中断后,是否可以利用基于深度学习的视觉重识别技术恢复个体身份。斑马鱼(*Danio rerio*)是重要的模式生物,其体型小、运动快、外观极为相似,传统基于几何位置或运动轨迹的跟踪方法(如ByteTrack)在完全遮挡或交叉游动后容易丢失身份连续性。现有动物姿态估计工具(如DeepLabCut和SLEAP)虽能实现多动物无标记跟踪,但姿态估计与个体重识别并非等价任务:前者定位身体关键点,后者需判断两个视觉片段是否属于同一尾鱼,这对视觉同质鱼类的身份恢复提出了独特挑战。研究的总体目标是构建并评估一个“检测—跟踪—重识别”混合空间-视觉流程,验证基于Swin Transformer和角边际损失(ArcFace)的视觉嵌入模型能否在跟踪中断后恢复先前登记的个体身份。
研究采用了两个Aalborg大学公开发布的AAU斑马鱼重识别数据集视频片段(vid1和vid2),共包含六尾已知个体。实验流程分为四个主要环节。第一环节是检测模块:使用Ultralytics YOLO26n检测器在数据集的训练块上重训练20个epoch,输入尺寸为640×640像素,以在每一帧中定位鱼体并生成裁剪图像。第二环节是短时跟踪模块:采用ByteTrack算法对相邻帧的检测框进行关联,该算法优先匹配高置信度检测,再考虑低置信度检测,以在部分遮挡或运动模糊时保持短时轨迹连续性。第三环节是视觉重识别模块,也是本研究的核心技术创新点。该模块使用ImageNet预训练的Swin-T作为骨干网络,输出256维原始嵌入,经BNNeck层生成批归一化嵌入。训练目标联合使用ArcFace损失、三元组损失(Triplet Loss)和中心损失(Center Loss),总损失函数为(L{Total}=1.0L{ArcFace}+1.0L{Triplet}+0.005L{Center}),其中ArcFace的尺度参数s=30,角边际m=0.30度,三元组边际为0.3。训练配置包括AdamW优化器、批量大小32、最多30个epoch、早停耐心10、三epoch预热后余弦衰减、m-per-class采样器(m=4)、梯度裁剪5.0以及随机擦除等数据增强。第四环节是混合空间-视觉身份关联层:ByteTrack维持短时轨迹,重识别模型计算当前鱼体裁剪图像与存储身份图库之间的余弦相似度,同时加入空间位置奖励,奖励值从零位移时的0.2线性递减至300像素处为零。候选图像需通过质量门控(包括检测框重叠过滤、宽高比1.5–3.5、拉普拉斯方差大于150)并累积三张合格裁剪图后方可进入图库。当混合相似度分数超过0.75时,新观测到的轨迹被匹配至现有图库身份,随后图库嵌入以0.9旧向量加0.1新向量的归一化指数移动平均进行更新。
为评估身份恢复能力,研究设计了模拟遮挡压力测试:在视频帧中央区域(x=828–1228像素)放置一个名义宽度为400像素的黑色垂直障碍物(约占帧宽19.5%),当鱼通过该区域时视觉证据被移除。主评估采用“完全浮现”定义,即一个遮挡事件由地面真值框与掩模重叠且至少一帧完全被包含的最大连续帧序列定义,决策窗口从整框完全离开掩模的第一帧开始,至下一次掩模重叠前或测试段结束为止。同时报告了“部分重现”敏感度分析定义,即每次完全包含的运行作为事件,决策窗口结束于下一次完全包含运行之前或测试段结束。评估指标以first-correctly-owned bio id为参考,将每个地面真值匹配输出分类为正确参考身份、同一鱼的不同身份(碎片化)、其他鱼的身份或扫描状态。事件恢复率等于正确恢复次数除以全部共享合格机会数。
在时间验证集(202帧)上,检测器报告的精确率为0.98679、召回率0.98613、mAP@0.50为0.99458、mAP@0.50:0.95为0.92264。在426帧保留测试集上,精确率、召回率、mAP@0.50和mAP@0.50:0.95分别为0.98878、0.96515、0.98384和0.93119。时间v2训练在第6个epoch达到最小ArcFace加三元组验证目标0.0420,并于第16个epoch因早停终止。
在完全浮现定义下,共得到23个完整遮挡事件,其中5个因至少一种输出缺少合格的遮挡前身份而被排除,最终留下18个共享恢复机会(vid1中6个,vid2中12个)。重识别阶段正确恢复了3个事件,恢复率为16.7%(vid1中1/6,vid2中2/12),所有三次成功恢复均桥接了发生变化的ByteTrack ID,且在两个视频片段中均有成功案例;同时产生1个错误身份分配,14个事件未解决。ByteTrack单独在所有18个事件中恢复率为0%,其结果为2个错误身份、11个同鱼不同身份、5个未解决。在部分重现定义下,重识别在24个共享合格事件中成功恢复6个(25.0%),而ByteTrack仍为0/24;重识别的其他结果包括1个错误身份、1个同鱼不同身份、16个未解决。将IoU阈值从0.3改为0.5未改变主要计数。身份切换计数方面,vid1中ByteTrack为11次、bio id为2次;vid2中ByteTrack为10次、bio id为0次。然而,数值bio id覆盖率较低:vid1中438个地面真值匹配检测中仅226个(51.6%)携带数值bio id,vid2中274个中仅96个(35.0%),其余均为扫描输出。全序列分析显示,在IoU≥0.30条件下,712个地面真值鱼类观测中298个(41.9%)保留正确参考bio id,6个(0.8%)使用同鱼不同bio id,18个(2.5%)使用其他鱼的身份,390个(54.8%)处于扫描模式。
失败分析揭示了若干关键问题。在390个扫描输出中,355个(91.0%)被至少一个裁剪质量门控拒绝,其中低清晰度出现328次,有时与重叠或非法宽高比并存;35个(9.0%)通过门控但尚未为该轨迹累积三张合格裁剪图。在14个未解决的完全浮现事件中,5个无合格的后浮现管道匹配,6个在整个决策窗口内匹配输出均为扫描状态,3个结合了扫描与未匹配帧。vid1中的第四个图库是对AAU对象2的重复登记:bio id 4在第1052帧创建,日志显示最高合格混合分数为0.4516(低于0.75阈值),尽管该鱼已有参考bio id 3,这解释了表2中的6个不同身份输出。另一方面,全部18个错误鱼分配发生在ByteTrack id 3将bio id 1从AAU对象1携带至对象3的第956–973帧,这些输出继承了已有的轨迹到bio id映射而非执行新的图库匹配,表明错误传播和重复登记是主要失败模式。
历史开发诊断显示,v2在内部排名一致性上达到97.7%(43/44查询片段),检索mAP为96.0%,而v1分别为72.4%和78.6%。v2的组间余弦相似度均值从v1的0.7114降至0.0365,分离间隙从0.1991增至0.8592。这些数值仅反映预测文件夹的内部结构一致性,不直接等同于地面真值身份正确性,因为两组诊断使用了不同的片段集合。
结论方面,本研究展示了一个针对视觉同质斑马鱼的无标记重识别实验工作流程,该流程结合了YOLO26n检测、ByteTrack短时跟踪和经BNNeck、ArcFace、三元组及中心损失训练的Swin-T嵌入模型。在受控实验条件下,所添加的关联阶段确实能够在跟踪器中断后恢复身份,但其成功频率仍有限。研究的科学价值在于将人脸识别和行人重识别领域的角边际嵌入技术迁移至鱼类个体识别场景,为解决视觉同质动物的身份持久性问题提供了新思路。应用价值体现在为水产养殖中的个体级纵向监测奠定基础:一旦身份得以保持,后续模块可累积并分析每尾鱼的摄食反应、生长轨迹、体况变化、活动水平、社会地位、异常运动、可见疾病症状及治疗恢复等个体历史,从而支持精准投喂、疾病早期控制、温光制度调整、福利评估和选择性管理。研究的高光点包括:提出检测—跟踪—重识别混合管道;设计角边际嵌入用于少身份鱼类重识别;建立面向遮挡的评估协议;在两个视频片段的时间保留段上进行地面真值身份恢复评估。然而,研究也明确指出其局限性:模拟遮挡而非真实物理遮挡、小规模同质队列、仅测试已见个体、恢复覆盖率低、质量门控和关联阈值未经独立校准等,因此结果属于受控可行性验证而非群体级验证。未来工作需扩展到更大身份集、独立记录、真实遮挡、跨鱼缸测试以及可解释性分析。