作者为Shuo-lun Lai、Yung-chien Chou、Chi-sheng Chen、Tzu-chia Tung、Been-ren Lin与Ruey-feng Chang,研究机构包括National Taiwan University、National Taiwan University Hospital以及National Changhua University of Education。该研究发表于 *Medical & Biological Engineering & Computing*,于2025年11月19日在线发表,卷期信息为2026年第64卷第701–714页,DOI为10.1007/s11517-025-03471-2。本文报道了一项原创研究,其核心目标是针对微创手术中纱布(gauze sponge)的术中检测与追踪问题,构建并验证一种基于深度学习的目标检测与时间线追踪模型。
在外科手术中,纱布用于吸收血液和体液,手术过程中常需大量使用。纱布也是术后最常见的遗留异物之一。当纱布计数不符时,外科医生必须在关腹前找到并取出缺失纱布;若纱布不可见,则常需借助便携式X光检查。这一过程会增加麻醉风险、延误后续手术,并可能引起严重并发症,如粘连、梗阻、穿孔、脓肿形成或纱布瘤(gossypiboma)。微创手术中,数字摄像系统可记录手术全过程,这为利用人工智能技术自动追踪纱布位置提供了可能。既往研究多使用体外纱布图像或模拟器视频训练模型,而本研究的特点在于使用真实人类腹腔镜手术视频构建数据集,并系统比较了多种现代目标检测方法。研究的目标是比较YOLO系列与Faster R-CNN等不同检测模块的性能,并提出一个调节模块(regulating module)以减少假阳性检测,最终实现纱布在手术视频中的自动检测与时间线追踪。
研究的总体流程包含数据准备、检测模块训练、调节模块设计与外部验证。数据集来自2018至2020年间在一家三级医学中心进行的20例结直肠癌腹腔镜手术视频(videos 1–20),视频由Stryker 1588摄像系统以60帧/秒记录,平均时长为100.8分钟。所有视频由经验丰富的外科医生逐帧审阅,记录纱布在屏幕上出现的时间段,共得到52个纱布出现片段,累计出现时间1660.5秒。视频数据集被划分为训练集(videos 1–10)与测试集(videos 11–20)。训练集中,根据人工记录仅保留包含纱布的视频片段并将其转换为图像序列,随机选择3600张含纱布图像;剔除无法辨认纱布的图片后,最终纳入3522张图像,并按7:2:1比例划分为训练、验证和测试组。外科医生对所有图像进行了标注。测试集则直接使用完整视频进行性能评估。
检测模块中,研究比较了YOLOv3、YOLOv4、YOLOv5x、YOLOv6-l6、YOLOv7-x、YOLOv12n、YOLOv12x以及以VGG16、ResNet101和ResNet101-FPN为骨干网络的Faster R-CNN。Faster R-CNN采用区域提议网络(region proposal network, RPN)替代选择性搜索,以降低计算量并提高检测速度。ResNet101通过残差学习框架解决深层网络退化问题,而ResNet101-FPN进一步融合特征金字塔网络(feature pyramid network, FPN),以多尺度特征层次增强小目标检测能力。此外,在边界框回归中引入了最小绝对收缩和选择算子(least absolute shrinkage and selection operator, LASSO),以鼓励稀疏性并提升泛化能力。YOLO系列则作为单阶段检测方法的代表,不同版本在骨干网络和训练策略上有所演进,如YOLOv4与YOLOv5使用CSPDarknet53降低计算量,YOLOv6采用RepVGG结构,YOLOv7引入可训练的免费包(trainable bag of freebies),YOLOv12则融合了Transformer架构和动态标签分配策略。模型训练使用NVIDIA RTX 3080及NVIDIA A100 80G显卡。Faster R-CNN各骨干网络训练150个epoch,批大小为50,优化器为随机梯度下降,初始学习率为0.001;YOLO系列训练250个epoch,批大小为6,优化器为Adam,初始学习率为0.001。
调节模块被设计用于降低检测模块输出的闪烁性假阳性。给定输入视频的每一帧,检测模块选择所有纱布检出帧形成集合U。调节模块根据参数k寻找连续检出帧:若某一检出帧前后存在至少k个连续检出帧,则将其视为真检测帧保留;若连续检出帧数少于k,则视为噪声并移除。这一设计利用了真阳性检测通常持续出现、而假阳性检测通常短暂闪烁的特点。研究中测试了k=0、10、20、30、40、50、60共七种设置,k=0代表仅使用检测模块而不进行调节。
评价指标包括内部测试与外部测试。内部测试使用训练集中划分出的测试组图像,计算平均精度(average precision, AP),交并比(intersection over union, IoU)阈值设为0.5。外部测试使用测试集视频,将模型检测时间线与人工标注时间线逐帧比较,计算召回率(recall)、精确率(precision)、准确率(accuracy)、F1分数、假阳性率(false positive rate, FP rate)和假阴性率(false negative rate, FN rate),并计算各指标的标准差与95%置信区间。此外绘制自由响应受试者工作特征(free-response receiver operating characteristic, FROC)曲线比较不同方法的性能,其横坐标为每秒假阳性帧数。
内部测试结果显示,YOLOv3、YOLOv4、YOLOv5、YOLOv6、YOLOv7、YOLOv12n、YOLOv12x的AP@0.5分别为0.995、0.995、0.994、0.99、0.996、0.997和0.994;Faster R-CNN(VGG16)、Faster R-CNN(ResNet101)和Faster R-CNN(ResNet101-FPN)的AP@0.5分别为0.906、0.9和0.93。YOLO系列在单帧图像检测上的AP普遍高于Faster R-CNN系列,但Faster R-CNN(ResNet101-FPN)的检测速度为39.8毫秒/帧,虽慢于部分YOLO模型,但在A100 GPU上已接近实时处理能力。
外部测试结果显示,Faster R-CNN(ResNet101-FPN)在视频级检测中表现最佳,召回率为0.893、精确率为0.812、准确率为0.929、F1分数为0.850、FP率为0.045,FN率为0.107。相比之下,YOLOv3的召回率为0.693、精确率为0.795、F1分数为0.741、FP率为0.179;YOLOv4的召回率为0.731、精确率为0.455、F1分数为0.561、FP率为0.876;YOLOv12x的召回率为0.760、精确率为0.691、F1分数为0.723。FROC曲线显示Faster R-CNN(ResNet101-FPN)具有最高的曲线下面积(area under the curve, AUC)。这表明在真实手术视频中,两阶段检测方法在降低假阳性和保持召回率方面优于单阶段YOLO系列,尽管其单帧检测AP并非最高。
在将Faster R-CNN(ResNet101-FPN)与调节模块连接后,随着k值从0增加到60,召回率从0.893逐渐下降至0.816,精确率从0.812逐步上升至0.891,FP率从0.045下降至0.033,FN率从0.107上升至0.184。准确率与F1分数在k=30时达到峰值,分别为0.94和0.862;此时召回率为0.848,精确率为0.876,FP率为0.037,FN率为0.152。这表明适度的连续帧过滤可以有效去除短暂假阳性,同时保持较高的总体检测性能。从输出视频观察,假阳性检测框通常出现于手术器械或内脏器官上,且多为短促闪烁,调节模块可有效去除这些错误检测。假阴性帧则常与纱布浸泡在血液中或几乎完全被组织遮挡有关。
研究的结论是,Faster R-CNN(ResNet101-FPN)在所比较的方法中更适用于手术视频中的纱布检测,调节模块的加入进一步提升了准确率和F1分数。该纱布追踪模型(gauze tracking model, GTM)能够将整个手术视频转换为纱布出现的时间线,并在纱布计数不符时提供关键信息,帮助外科医生定位缺失纱布,避免不必要的器官探查,减少便携式X光检查的需要,从而降低麻醉风险并提高手术室效率。研究的科学价值在于系统比较了多种主流目标检测方法在真实手术视频中的性能差异,并提出了结合检测与调节的实用流程。应用价值在于该模型具备临床辅助定位遗留纱布的潜力,尤其在微创手术中可自动记录纱布出现的时间位置。
研究的亮点包括:数据集来源于真实人类腹腔镜手术视频,而非模拟器;系统比较了YOLO系列多个版本与不同骨干网络的Faster R-CNN;提出了基于连续帧过滤的调节模块,有效减少假阳性;通过时间线可视化实现纱布的全程追踪;使用FROC曲线和多种统计指标评估模型性能。
研究也存在一些局限性。数据来自单一机构和单一亚专科,可能导致过拟合,且模型对其他解剖部位手术的适用性有限;不同纱布材质的纹理差异可能影响准确性;Faster R-CNN的检测速度较YOLO慢,尽管通过轻量化修改和更强GPU已接近实时;模型尚不能区分多个独立纱布个体,未来可结合Mask R-CNN、Transformer检测方法以及ByteTrack等追踪算法实现个体化追踪。研究者强调,该系统应作为术中后台自动运行的辅助工具,在关腹前提供回顾性时间线,而非连续显示以干扰手术视野,并且不能替代标准的手工纱布计数安全流程。