分享自:

TSCG-TSM:一种用于循环水养殖系统中鱼类摄食强度评估的时空-通道-全局增强TSM模型

期刊:Aquaculture InternationalDOI:10.1007/s10499-026-02718-5

本研究由浙江大学生物系统工程与食品科学学院的宋伟杰、赵建、何勇和蒋茜静等人完成,发表于 Aquaculture International 期刊2026年第34卷,文章编号314。该研究属于水产养殖智能管理领域,聚焦循环水养殖系统(Recirculating Aquaculture Systems,RAS)中鱼类摄食强度评估问题。

研究的学术背景源于饲料成本在RAS生产中占生产总成本60%以上的现实。精准投喂依赖对鱼类摄食强度的准确评估,投喂不足会减缓鱼类生长,而过度投喂则导致饲料浪费、水体污染和疾病风险上升。现有生产中仍主要依靠人工观察和定时机械投喂,缺乏灵活性且饲料利用率低。鱼类摄食行为在时间维度上表现为集群、抢食和游动强度等变化,因此视频分析比静态图像更适合建模摄食强度的连续变化。然而,基于3D卷积的视频模型计算复杂度高,难以在实时自动投喂系统中实际部署;传统机器视觉方法依赖手工特征提取,环境鲁棒性差;多模态方法虽提升鲁棒性,但引入额外声学设备且增加系统部署复杂性。为在上述性能与计算代价之间取得平衡,本研究提出了轻量级视频分类模型TSCG-TSM(Temporal-Spatial-Channel-Global Enhanced TSM),在时间移位模块(Temporal Shift Module,TSM)基础上引入三个任务特异性的轻量模块,用于RAS中鱼类摄食强度评估。

研究使用的数据集来自浙江大学的循环水养殖实验系统,实验对象为300尾初始体重约25.6 ± 6.5克的大口黑鲈(Micropterus salmoides)。养殖期间水温维持在22 ± 0.5 ℃,溶解氧5.5 ± 0.5 mg/L,pH为7.2 ± 0.5,氨氮≤0.8 mg/L;每天在上午10点和下午4点投喂两次,日总投喂量不超过鱼体总重的5%。视频由海康威视DS-2CD6233F-SDI网络摄像机以1920×1080分辨率、25帧/秒采集。根据鱼群对饲料的行为反应,将摄食强度划分为“强”(strong)、“中”(medium)、“弱”(weak)、“无”(none)四个等级,每段视频时长6秒,每个摄食事件对应一段视频。最终数据集包含4380段视频,其中“强”1146段、“中”1269段、“弱”1197段、“无”768段。数据集按视频级别随机划分80%为训练集(3504段)和20%为测试集(876段),训练集进一步采用五折交叉验证。训练阶段使用随机水平翻转和多尺度裁剪进行数据增强,并设计了随机偏移稀疏采样策略:根据视频总帧数和目标采样帧数计算平均采样间隔,在每个采样索引内加入均匀分布的随机偏移,以提高模型对时间变化的鲁棒性。

模型工作流程包括以下关键步骤。首先,每段视频被稀疏采样为8帧,输入到以ImageNet预训练权重初始化的ResNet-18骨干网络,该骨干网络嵌入了TSM。TSM通过无参数的时间通道移位操作,使2D卷积能够交换相邻帧之间的信息:在残差分支中,部分通道向前移位、部分通道向后移位、其余通道保持不变,通道划分比例r设为8。其次,引入时间注意力模块(Temporal Attention Module,TAM)取代原来的平均共识(average consensus)。TAM将骨干网络提取的各时间片段特征经全局平均池化压缩为通道向量,再通过一维卷积和sigmoid门控估计各时间片段的注意力权重,以内容依赖的方式聚合特征,避免均匀平均稀释关键摄食片段的信息。第三,引入空间-通道门控模块(Spatial-Channel Gated Module,SCGM),嵌入到骨干网络的四个层之后。SCGM首先对输入特征进行层归一化,然后在通道门控分支中并行使用全局平均池化和全局最大池化得到通道描述子,经过共享瓶颈映射(通道缩减比为16)和SiLU激活后融合生成通道门控权重;在空间门控分支中沿通道维度进行平均池化和最大池化,拼接后通过卷积层生成空间门控权重。归一化特征分别与两种门控权重逐元素相乘,再经卷积变换后与原输入残差融合。SCGM通过空间门控突出鱼类聚集和水面扰动区域,通过通道门控增强与鱼类运动、水面变化和摄食反应相关的语义通道。第四,引入全局响应归一化(Global Response Normalization,GRN),在每个层输出处、SCGM之前应用。GRN计算每个通道的全局响应(即该通道特征图所有空间位置平方和的平方根),再计算所有通道的平均响应,将各通道全局响应与该平均值加小常数后的比值作为归一化通道响应,通过可学习参数进行缩放和平移,以增强通道间竞争、防止少数高激活通道主导特征表达,提升特征多样性。模型训练时,CNN类模型使用SGD优化器,初始学习率0.01,动量为0.9,在第30、60和80个epoch学习率衰减为原来的10%;Transformer类模型则使用AdamW优化器,初始学习率0.001,采用余弦退火调度;所有模型batch size均为16,训练100个epoch,损失函数为交叉熵。评价指标包括宏平均精确率、召回率、F1分数和准确率,同时统计参数量(Params)和浮点运算量(FLOPs),并通过1000次bootstrap重采样估计均值与标准差,采用Wilcoxon符号秩检验和Holm校正进行显著性比较。

实验结果显示,TSCG-TSM在测试集上取得86.30% ± 1.94%的准确率和86.56% ± 1.98%的F1分数,分别比基线TSM提高4.11%和4.35%,而参数量和FLOPs仅增加0.87 M和0.85 G。在四个摄食强度等级中,“无”等级的精确率最高(94.20% ± 3.23%),“强”等级的召回率(95.14% ± 2.40%)和F1分数(93.41% ± 1.95%)最高;“中”和“弱”等级表现相对较低,其中“中”的召回率和F1分数最低(77.80% ± 4.71%和79.74% ± 3.60%),这与相邻等级特征相似导致跨类误判有关。与12个代表性视频模型相比,TSCG-TSM取得最佳性能,明显优于I3D、R2Plus1D、SlowFast、SlowOnly、TIN、X3D、TANet、TimeSformer、MViT、Swin和UniFormer,其中Swin的准确率最高为81.85% ± 2.23%,但仍低于TSCG-TSM;且Transformer类模型的FLOPs和参数量普遍更高。在气泡图比较中,TSCG-TSM以15.40 G FLOPs和12.05 M参数实现了最高F1分数,说明其在识别性能与计算复杂度之间达到较好平衡。与图像类模型相比,LeNet5和MobileNetV2-SENet的准确率分别仅为65.86% ± 2.85%和68.82% ± 2.74%,DCAMViT为73.34% ± 2.67%,MKEM-LSTM为50.80% ± 2.91%,均显著低于TSCG-TSM。

消融实验验证了各模块的贡献。TSM基线准确率为82.19% ± 2.32%,F1分数为82.21% ± 2.32%;加入TAM后准确率提升至83.90% ± 2.20%,F1分数提升至84.41% ± 2.13%;继续加入SCGM后准确率达85.96% ± 2.00%,F1分数达86.20% ± 1.98%;再加入GRN形成完整TSCG-TSM后准确率和F1分数分别达到86.30% ± 1.94%和86.56% ± 1.98%。TAM的归一化注意力权重热图显示,模型对中间时间片段赋予更高权重,“无”等级在第4和第5片段的权重分别为0.28和0.31,“强”等级在第4、第5和第6片段的权重分别为0.21、0.18和0.17;随着摄食强度增加,注意力分布趋于分散,这与实际摄食行为的时间动态一致。Grad-CAM类激活图显示,与TSM相比,TSCG-TSM的激活区域更集中于鱼群聚集、水面扰动和摄食活动区域,证实空间-通道门控有效增强了判别性视觉特征的提取。混淆矩阵显示,TSCG-TSM在所有等级上的正确分类数均高于TSM,其中“弱”等级提升最明显(正确分类从156增至183),“弱”误判为“中”的样本从42降至30,误判为“无”的样本从18降至6;“弱”与“中”仍是模型最易混淆的类别。连续20个摄食事件的长时间视频预测中,TSCG-TSM更准确地跟踪了摄食强度从“强”到“中”、“弱”、“无”的逐渐过渡,而TSM在强度变化的过渡阶段出现更明显的提前误判;TSCG-TSM在各阶段的类别概率曲线与真实标签更一致。

本研究的结论表明,TSCG-TSM通过在TSM基础上引入时间注意力、空间-通道门控和全局响应归一化,显著提升了鱼类摄食强度识别性能,同时仅以较小的参数和计算开销为代价,适合在RAS自动投喂场景中部署。研究亮点在于:提出了一种轻量级视频分类模型,以无参数时间移位为基础,结合三个结构优化模块,实现了对鱼群摄食行为时间动态和空间判别特征的有效建模;采用随机偏移稀疏采样策略提升训练数据时间多样性;通过bootstrap统计检验和连续长时间视频验证了模型的稳健性与时序趋势跟踪能力。研究也存在局限性:数据集规模有限且仅来自RAS环境,模型在不同鱼种、养殖密度和环境下的泛化性能有待验证;“弱”与“中”的混淆提示摄食强度可能具有有序或连续结构,未来可探索有序分类或回归模型,并结合实际饲料消耗量提供更精确的量化决策支持。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com