这是一篇关于利用机器学习优化自动监测鱼类产卵活动中水花飞溅声音检测的原创研究论文，发表于由 A. N. Popper 等编辑的 The Effects of Noise on Aquatic Life IV 论文集（Springer, 2026）中第 116 章。该研究由 Leiden University Institute of Biology Leiden 的 Line Weiss、Lisa Dörner、Christian Tudorache 和 Hans Slabbekoorn，Naturalis Biodiversity Center 的 Vincent S. Kather 与 Kees te Velde，Wageningen University & Research 的 Max de Koning，以及 Research Institute for Nature and Forest (INBO) 的 Ine Pauwels 共同完成。通讯作者为 Lisa Dörner。
研究背景与目标
该研究属于生态声学（ecoacoustics）与计算生物声学（computational bioacoustics）的交叉领域。生态声学研究环境声音（声景，soundscape）与生态过程之间的联系。许多水生生物依赖声景进行定位、觅食、防御、通讯和配偶吸引等行为，因此人为噪声（anthropogenic noise）可能通过威慑、干扰、分散注意力和掩蔽重要声音等方式对它们造成影响。相比于海洋环境，淡水系统在噪声污染方面的研究相对不足。欧盟法律自 2008 年起禁止向海洋水域添加损害良好环境状态的能量（包括声音），但对淡水系统尚无相应的法律规定。全球三分之一的淡水鱼类面临灭绝威胁，这凸显了研究人为噪声对淡水鱼类影响的紧迫性。
洄游性鱼类西鲱（twaite shad，*Alosa fallax*）分布于西北大西洋至地中海，每年春季从海洋洄游至河流上游的淡水中产卵，属于受威胁物种。在其求偶行为中，雄性西鲱会紧贴水面追逐雌性并拍打尾部，产生持续 3 至 10 秒的响亮、无节律的水花飞溅声（shad splashing）。这种独特的声音可用于被动声学监测（passive acoustic monitoring, PAM），以测量产卵活动并定位产卵地点。然而，在大型音频数据集中人工识别西鲱飞溅声非常耗时，且该声音与其他水面扰动声难以区分，因此亟需自动检测系统。
机器学习（machine learning）中的监督学习（supervised learning）模型需要成对的数据与标签进行训练，通常仅在原始训练任务上表现良好，泛化能力较差。卷积神经网络（convolutional neural networks, CNNs）已被成功用于鸟类、蛙类和蝙蝠的鸣声识别，但需要大型训练数据集。近期研究者开始评估利用预训练模型（pretrained model）的嵌入（embedding）来执行下游任务的方法。嵌入是深度学习模型生成的向量表示，可以用于训练新分类器以检测模型未经过训练的声事件，此过程也被称为线性探测（linear probing）。这种方法可以受益于已有预训练模型学到的从背景声中检测特定声音的能力，从而大幅减少训练新分类器所需的数据量。
此前已有研究者开发了西鲱飞溅声检测器：Diep 等人（2016）的高斯混合模型（Gaussian mixture model, GMM）达到 F1 分数 0.69；Sota 等人（2023）的循环卷积神经网络（recurrent convolutional neural network, CRNN）在大型但不平衡的数据集上达到 F1 分数 0.52；McLain 和 White（未发表）的 CNN 在小型但平衡的数据集上报告 F1 分数 0.97，但可能因在平衡数据集上测试而产生乐观估计。本研究旨在评估基于预训练模型嵌入训练的西鲱飞溅声检测器是否能达到或优于从头训练的模型，并探讨哪些公开可用的预训练 AI 模型能提供最有效的嵌入，以及何种训练数据集组成能带来最佳的检测性能。
研究方法与流程
研究使用的录音采集自英国塞文河（River Severn）及其支流特梅河（River Teme）以及比利时斯海尔德河（Scheldt）的已知西鲱产卵河流。录音设备包括 AudioMoth（型号 1.2.0）和 Song Meter（Micro 与 SM1 型号），采样率为 48 kHz。AudioMoth 增益设置为 30.6–31.6 dB，Song Meter 增益为 18 dB。所有设备均安装在岸边的结构物上，朝向水面。录音通过 Audacity 软件（版本 3.7.4.0）进行人工听觉和视觉检查标注，使用 Hann 窗口，窗口大小为 2048 个采样点。西鲱飞溅事件定义为持续时间至少 1.5 秒，以确保能听到无节律的尾部拍打声；如果事件中间有超过 3 秒的中断，则标注为两个独立事件。不明确的情况由经验丰富的第二标注者复核。录音中其余部分被标注为噪声（noise），包括堰、水流、风、雨、鸟鸣、道路交通和船只等多种非目标声音。最终注释数据集共计 28 小时 40 分 38 秒音频，包含 351 个已标注的西鲱飞溅事件。其中，斯海尔德河 Branst 码头在 2023 年贡献了 163 个事件，占总事件数的 46.4%，是最大的单一来源。
研究的第一项程序是评估嵌入模型的性能。研究者选取了七个预训练模型：nonbioaves_especies、insect66net、google_whale、surfperch、birdnet、perch_bird 和 biolingual。选择依据是它们对宽带信号的处理能力、在水生环境中的先前应用，或它们在更广泛生物声学应用中的嵌入性能和表现。对每个模型，生成嵌入后用于训练线性分类器。嵌入提取、分类器训练和评估使用 GitHub 上可获取的 BACpipe 流程（Python 版本 3.10.16）（Kather 等人，2025）完成。所有嵌入模型均在整个注释数据集上进行评估，该数据集的噪声与西鲱飞溅声比例约为 100:1。
第二项程序是训练条件评估。使用 BirdNET Analyzer GUI 训练了七个分类器（标记为 A–G），它们的训练集在噪声与西鲱飞溅声比例、噪声子样本和西鲱飞溅声子样本方面各不相同。噪声片段通过 Python 脚本（版本 3.13.5）将录音中的噪声部分分割为 3 秒片段，再用 Audacity 提取，共获得 34,300 个噪声片段。训练数据集中随机选取了 281 个（80%）西鲱飞溅声片段。分类器 A 的训练集噪声与西鲱飞溅声比例为 1:1（281:281）；分类器 B 为 2:1（562:281）；分类器 C 为 5:1（1405:281）。分类器 D、E、F 的噪声片段被重新随机采样，其中 D 与 C 的训练集有少量重叠，E 和 F 无重叠。分类器 G 则移除了低质量西鲱飞溅事件（信噪比低、在频谱图中几乎不可见），噪声样本基于分类器 B，保持 2:1 的比例。所有分类器均在相同的测试数据集上评估，该测试集包括 700 个噪声片段和 70 个西鲱飞溅片段，比例为 10:1，以模拟真实场景中目标事件的稀有性。
人工性能评估使用 GUI 批量分析工具输出的置信度值。最小置信度阈值设为 0.05，低于此阈值的片段被赋予置信度 0。使用 R 包 pROC 和 PRROC 计算接收者操作特征（receiver operating characteristic, ROC）曲线和精确率-召回率（precision–recall, PR）曲线，以展示模型在避免假阳性与识别真阳性之间的权衡。最优分类阈值被定义为使 F1 分数最大化的值。F1 分数是精确率（precision）与召回率（recall）的调和平均数，平衡了假阳性和假阴性。所有真阳性、假阳性和假阴性预测均使用 Python 中的 librosa 库生成了梅尔频谱图（mel spectrogram），快速傅里叶变换（fast Fourier transform, FFT）窗口大小为 2048，跳跃长度为 128，采样率为 48 kHz，频率分辨率为约 23.44 Hz，时间步长为 2.67 ms。此外，还对 5 小时连续未编辑的野外录音进行了初步定性性能评估，滑动窗口步长为 1.5 秒。
主要研究结果
在嵌入模型评估中，BirdNET 的表现优于所有其他嵌入模型，宏平均 F1 分数（macro F1 score）超过 0.8，宏平均准确率（macro accuracy）超过 0.7。所有分类器的微观指标和 ROC 曲线下面积（AUC）值接近 1，表明整体性能较强。然而，尽管所有分类器在噪声类别上的单类准确率很高，但在西鲱飞溅事件类别上的准确率则显著较低。BirdNET 表现最佳，正确识别了超过 50% 的阳性声事件。
在训练数据变体评估中，分类器 D 和 G 的真阳性数量最高（D: 60, G: 64），但也产生了较高的假阳性数量（D: 79, G: 164）。分类器 E 产生了最高的假阳性数量（272），但真阳性（51）没有提高。假阳性最少的是分类器 C 和 F（C: FP=8, TP=41; F: FP=4, TP=33）。分类器 C 在精确率-召回率曲线下面积（PR AUC）最高，为 0.63，并且 F1 分数最高，为 0.69，表明其在最小化假阳性的同时具有较高的真阳性检测率。分类器 C 的最佳阈值为 0.95，此时召回率为 0.59，精确率为 0.84。分类器 A 在阈值为 0.1 时 F1 为 0.52；分类器 B 在阈值为 0.7 时 F1 为 0.66；分类器 D 在 0.95 阈值时 F1 为 0.57；分类器 E 在 1.0 阈值时 F1 为 0.26；分类器 F 在 0.05 阈值时 F1 为 0.62；分类器 G 在 1.0 阈值时 F1 为 0.43。
对分类器 C 的预测子集进行的视觉和听觉检查显示，真阳性频谱图中有清晰可见的西鲱飞溅事件；假阳性频谱图（置信度为 1）显示出类似西鲱飞溅的汩汩水声等声学模式；低置信度的假阳性则在视觉上与西鲱飞溅明显不同；假阴性通常噪声较大，包含鸟鸣或其他环境声音，西鲱飞溅事件或被掩蔽，或距离较远。
在真实世界数据的初步评估中，对 5 小时未编辑野外录音进行检测，分类器 E 和 G 产生的预测数量最多（E: 5,283; G: 7,210），分类器 C 和 F 产生的最少（C: 149; F: 未给出但属于最少）。初步检查表明，测试数据集上观察到的相对性能趋势得以保持，但假阳性预测的比例有所上升。
结论与意义
研究表明，利用 BirdNET 嵌入训练的线性分类器在 F1 分数上达到了与已发表的西鲱飞溅声检测器相当的性能（Diep 等人 2016 的 F1=0.69；Sota 等人 2023 的 F1=0.52），尽管使用的训练数据量远小于 Sota 等人（2023）。研究还发现，不平衡的训练数据集（噪声与西鲱飞溅声比例从 1:1 增至 5:1）能提升分类器性能，假阳性预测持续减少。这一趋势可能归因于：(1) 对多数类（噪声）的更强偏向；(2) 训练集与测试集之间更小的先验偏移；(3) 训练中包含了更多负样本。不同噪声子样本训练的分类器表现出从保守到自信的不同预测模式，这可能由于对多数类的随机欠采样会丢弃有价值的样本，表明分类器可能未接触足够的负样本。此外，过滤低质量西鲱飞溅事件反而降低了性能，这可能是因为这进一步减少了已有限的负类和正类样本量，并移除了模糊案例。
尽管在真实世界录音上的评估显示假阳性比例有所上升（可能由于西鲱飞溅事件在真实数据中比测试集中更罕见），但不同分类器的相对性能趋势基本保持。未来可采用嵌套交叉验证（nested cross-validation）以获得更可靠的性能估计，或通过连续真实世界数据调整决策阈值。此外，增加正类和负类样本量也可能进一步提高性能。
本研究的科学价值在于证明了使用公开可用的预训练机器学习算法进行重训练，可以在噪声背景下检测新颖且具有挑战性的声事件，而无需从头训练大型模型。其应用价值在于为西鲱这种受威胁物种的被动声学监测提供了一种高效、可扩展的自动检测方案，可帮助测量产卵活动、定位产卵地点，并为评估淡水系统中人为噪声对洄游鱼类的影响提供技术支持。研究还强调，在训练数据集中引入适当的类别不平衡（而非追求完全平衡）可能有利于稀有声事件检测器的性能，这一发现对计算生物声学领域的实践具有指导意义。