本文介绍了 sfishtrack 数据集，该数据集旨在推进水下视频中鱼类的像素级分割（pixel-level segmentation）与多目标跟踪（multi-object tracking）研究。该研究由 josep sanchez、jose-luis lisani、ignacio a. catalan 和 amaya alvarez-ellacuría 共同完成，主要作者隶属于 巴利阿里群岛大学（university of the balearic islands）数学与信息学系 以及 地中海高等研究院（mediterranean institute for advanced studies, imedea）。该论文作为数据描述论文（data descriptor）发表于期刊 scientific data，文章编号为 (2026) 13:1181，在线发布日期标注为 2026 年。

从学术背景来看，该研究属于海洋生态学、计算机视觉与深度学习交叉领域。自动监测海洋鱼类对于海洋生态学、渔业管理和环境监测具有重要意义，但相关的深度学习研究长期受限于缺乏大规模、高质量且以鱼类为中心的标注数据集。现有水下数据集大多只提供图像级标签或粗略的边界框（bounding box），缺乏时间上连续的实例级标注，难以支持多目标跟踪任务；一些已有的跟踪数据集如 uot-100 和 webuot-1m 又主要面向单目标跟踪（single-object tracking, sot），无法直接用于多目标跟踪场景。因此，作者团队构建了 sfishtrack 数据集，目标是在自然海洋环境中提供兼具空间精度与时间一致性的分割和跟踪标注，以弥补现有基准数据的不足。

在数据获取方面，该数据集来源于 2021 年至 2025 年间在西班牙马略卡岛（mallorca）周边巴利阿里海（balearic sea）区域采集的水下视频。采集工作在地中海高等研究院协调的长期生态监测项目框架下完成。所记录的视频包含四种不同相机型号，包括固定式相机（sony ipela snc-ch210 与 sais-ip-bullet）以及潜水员操作的 gopro hero 3 和 gopro hero 7 相机。所有视频均为全高清（full hd, 1920×1080 像素）分辨率，帧率为 30 帧/秒（fps），以 mp4（h.264）格式存储，未使用人工照明以尽量减少对鱼类行为的干扰。相机部署深度从 5 米至 40 米不等，覆盖了波西多尼亚海草床（posidonia oceanica seagrass meadows）、岩石海床、沉船遗址和沙质平原等多种底栖与中上层海洋环境。元数据采用 json 格式进行结构化存储，包括拍摄日期、当地时间、深度、相机型号和大致位置等信息，但未提供精确坐标以保护敏感海洋生境。

在数据标注流程方面，作者团队开发了一个基于浏览器的开源视频标注工具，集成两种深度学习模型：segment anything model 2（sam2） 用于根据关键点提示生成实例级分割掩码（mask），以及 cutie 用于在帧间传播掩码并保持时间一致性。标注过程采用半自动方式：首先由标注者使用 sam2 对目标鱼类进行点提示，生成初始分割掩码；随后利用 cutie 将掩码和相应的对象标识符沿视频序列传播；传播后的初步标注再由人工逐帧审查和修正，包括补全缺失区域、解决重叠掩码以及处理因长时间遮挡或部分可见性引起的身份标识切换（identifier swap）问题。进入或离开视野的鱼被赋予新的身份标识，因为在可见区域之外无法实现连续跟踪。标注标准方面，小于 25×25 像素的鱼类实例被排除，因为该尺寸以下的目标缺乏足够细节，难以可靠识别和精确分割，这也有利于降低标注噪声和提升后续模型性能。数据集的标注格式遵循 coco json 标准，并为每个视频提供一个 json 文件，内容包含图像信息（images）、类别（categories）、标注（annotations）以及拍摄元数据（recording data）。数据集共包含 54 段视频、总计 24,084 帧，全部提供逐帧鱼类分割掩码，并附有每帧对应的掩码图像文件。数据总量约 20 gb，托管于 zenodo 平台，并采用 cc by 4.0 许可证开放获取。

在技术验证方面，论文从空间精度和时间连续性两个维度对标注质量进行了定量和定性评估。在空间层面，随机选取 500 帧由两位标注者独立标注，计算对应掩码的平均交并比（intersection over union, iou）为 0.89，表明具有较高的空间一致性。在时间层面，通过比较连续身份序列的比例，得到大于 90% 的身份连续性。此外，经过三轮迭代修正后，在重新标注的 1,000 帧子集中，自动掩码与人工验证掩码的平均 iou 从 0.84 提升至 0.92，身份标识错误减少了 37%。为验证数据集的可用性和挑战性，研究团队使用 deep oc-sort 多目标跟踪框架进行了基准测试，采用 ultralytics yolov8m 预训练权重生成目标检测结果，并将所有分割掩码转换为包围边界框以统一评估协议，评估指标包括 mota、motp、idf1 和 hota。在相同评估设置下，sfishtrack 的 mota 为 41.00%，motp 为 42.21%，hota 为 26.31%，idf1 为 32.92%。与 lifeclef 2015 增强版（mota 44.21%）、uot100（mota 19.89%）和 webuot-1m（mota 14.52%）等数据集对比，该结果表明 sfishtrack 在复杂自然水下场景中具有较高的挑战性，同时能够为多目标跟踪算法提供有效的评估基准。需要指出的是，由于 uot100 和 webuot-1m 属于单目标跟踪数据集，其指标在多目标协议下会受到额外检测误报的惩罚，因此结果不宜直接进行比较。

该研究的主要结论是，sfishtrack 提供了一个在自然海洋环境中采集、具有像素级分割和时间一致身份标注的大规模鱼类跟踪数据集，填补了现有水下视觉基准在多目标跟踪任务上的空白。其科学价值在于为海洋生态监测、鱼类行为分析和基于深度学习的视觉算法开发提供了标准化、可重复的数据资源；其应用价值体现在可支持渔业资源评估、生物多样性监测和环境变化研究中的自动化图像分析。此外，作者团队开源的基于浏览器和深度学习模型的标注工具也为未来数据集的扩展和社区协作标注提供了可复现的方法路径，有助于降低高质量标注的技术门槛和硬件要求。

该研究的亮点突出体现在三个方面。第一，数据集在自然环境下采集，覆盖多种生境和视觉条件，具有较高的生态代表性和视觉多样性；第二，与大多数仅提供边界框或单一目标标注的现有数据集不同，sfishtrack 提供了像素级分割掩码和跨帧一致的对象身份，能够同时支持分割与多目标跟踪两类任务；第三，作者开发了集成 sam2 和 cutie 的开源网页标注工具，实现了无需专用硬件的高效半自动标注流程，这一方法创新对于海洋成像社区的可访问性和可重复性建设具有积极意义。