关于TPH-YOLOv5：一种基于Transformer预测头的改进YOLOv5模型用于无人机场景目标检测的学术研究报告
本报告旨在介绍一项发表于2021年IEEE/CVF国际计算机视觉大会研讨会（ICCVW）的原创性研究。该研究由北京航空航天大学的Xingkui Zhu、Shuchang Lyu、Xu Wang和Qi Zhao（通讯作者）共同完成，论文题为“TPH-YOLOv5: Improved YOLOv5 Based on Transformer Prediction Head for Object Detection on Drone-captured Scenarios”。
一、 研究背景与目标
本研究属于计算机视觉领域，具体聚焦于无人机航拍场景下的目标检测任务。随着无人机技术在植保、野生动物保护、城市监控等领域的广泛应用，从无人机捕获的图像中准确、高效地检测物体变得日益重要。然而，无人机场景为目标检测带来了独特的挑战，主要包括：1) 物体尺度剧烈变化：无人机飞行高度多变，导致图像中物体尺寸差异极大；2) 物体密集与遮挡：低空高速飞行可能引起运动模糊，且场景中物体通常密集排列，造成相互遮挡；3) 背景复杂：拍摄范围广，包含大量易混淆的地理元素。
尽管基于深度卷积神经网络的目标检测器（如YOLO系列）在自然场景数据集（如COCO、PASCAL VOC）上取得了显著进展，但直接将其应用于无人机场景往往效果不佳。因此，本研究旨在解决上述挑战，提升无人机图像目标检测的性能。研究目标是在YOLOv5基线模型的基础上进行改进，提出一种专为无人机场景优化的新型检测器——TPH-YOLOv5，并在公开的无人机数据集VisDrone2021上验证其优越性。
二、 研究方法与详细流程
本研究以YOLOv5x（YOLOv5系列中最大的模型）为基线，进行了一系列针对性的改进，整体流程包括模型架构创新、训练策略优化和推理后处理增强。
1. 模型架构改进 研究对YOLOv5的头部（Head）部分进行了核心改造，并引入了注意力机制。 * 增加微小目标预测头：针对无人机图像中微小目标多的特点，在原有三个预测头（用于小、中、大物体）的基础上，额外增加了一个专门用于检测微小物体的预测头。该头由低层、高分辨率的特征图生成，对微小物体更敏感。此举将模型总层数从607增加到719，计算量（GFLOPs）从219.0增至259.0，但显著提升了对尺度变化剧烈场景的适应能力。 * 引入Transformer预测头：用Transformer编码器块（Transformer Encoder Block）替换了原YOLOv5头部中的部分卷积块和CSP瓶颈块，构成了Transformer预测头。Transformer的自注意力机制（Self-Attention Mechanism）能够捕捉全局信息和丰富的上下文信息，有助于处理高密度场景下的遮挡物体。研究仅在网络末端特征图分辨率较低的部分使用TPH，以控制计算和内存开销。 * 集成卷积块注意力模块：在骨干网络（Backbone）中集成了CBAM。CBAM是一种轻量级的注意力模块，能顺序地沿通道和空间维度推断注意力图，并与输入特征图相乘以进行自适应特征细化。这有助于模型在覆盖区域大、背景复杂的图像中聚焦于感兴趣的目标区域，抑制混淆信息。
2. 训练策略与技巧 为了进一步提升模型性能，研究采用了一系列“技巧包”。 * 数据增强：结合使用了Mosaic、Mixup等先进的混合图像增强方法以及传统的光度畸变（调整色调、饱和度、明度）和几何畸变（随机缩放、裁剪、平移、剪切、旋转），以增加数据多样性，提升模型对不同环境图像的鲁棒性。 * 数据集分析预处理：在训练前分析了VisDrone2021数据集的标注框。发现当输入图像尺寸设为1536时，存在大量边长小于3像素的极小物体。研究尝试用灰色方块覆盖这些过小的物体后训练模型，使平均精度均值提升了0.2%，说明处理极端微小目标有助于性能提升。 * 自训练分类器：通过可视化失败案例和分析混淆矩阵，研究发现TPH-YOLOv5具有优异的定位能力，但在某些相似类别（如“三轮车”和“带篷三轮车”）上分类能力较差。为此，研究额外训练了一个分类器。具体流程是：从训练数据中根据真实标注框裁剪出图像块，缩放到64x64大小，构建分类训练集，并使用ResNet18网络进行训练。在推理阶段，利用该分类器对检测框内的图像块进行二次分类，最终带来了约0.8%至1.0%的平均精度提升。
3. 推理与结果融合策略 * 多尺度测试：在推理阶段，对单模型采用多尺度测试策略。将测试图像缩放至1.3倍、1.0倍、0.83倍和0.67倍，并对每个尺度的图像进行水平翻转，共产生6个不同版本的图像输入模型。将6次推理的结果使用非极大值抑制进行融合，得到单模型的最终预测。 * 多模型集成：训练了五个不同的TPH-YOLOv5模型用于集成。这些模型在输入图像尺寸（1536或1920）和类别权重设置上有所不同（有的平等对待所有类别，有的根据各类别标注数量进行加权，数量多的类别权重低）。最后，使用加权框融合方法将五个模型的预测结果进行融合，以获得更稳定、平衡的最终检测结果。
三、 主要实验结果
研究在VisDrone2021数据集的test-dev（本地测试）和test-challenge（官方挑战赛）子集上进行了评估，主要指标为平均精度均值。
1. 消融实验 在test-dev集上的消融实验清晰地展示了各个改进组件的贡献： * 基线YOLOv5：mAP为28.88%。 * + 增加微小目标预测头：mAP提升至31.03%（↑2.15%），证明额外预测头对处理尺度变化有效。 * + Transformer预测头：mAP进一步提升至32.84%（↑1.81%），且模型层数减少，计算量降低，说明Transformer结构在提升精度的同时还有优化模型效率的潜力。 * + CBAM注意力模块（即完整的TPH-YOLOv5）：mAP达到33.63%（↑0.79%），表明注意力机制有助于在复杂背景中聚焦目标。 * + 多尺度测试：mAP显著提升至34.90%（↑1.27%），显示了测试时数据增强的有效性。 * + 自训练分类器：最终mAP达到35.74%（↑0.84%），验证了针对分类难点进行专门优化的价值。
2. 与先进方法的对比 在VisDrone2021 test-challenge数据集上，本研究提出的TPH-YOLOv5（集成模型）取得了39.18% 的mAP。这一成绩： * 超越了2020年该数据集上的最优方法DPNetV3（37.37%）1.81个百分点。 * 在VisDrone2021目标检测挑战赛中位列第五名，与第一名模型（39.43%）的差距仅为0.25%。 * 相比原始的YOLOv5基线模型，性能提升约7%，提升幅度显著。
3. 模型集成效果分析 如表3所示，五个独立模型在各目标类别上的表现各有优劣。通过WBF方法集成后，最终模型在几乎所有类别（共10类，如行人、汽车、巴士等）上的AP值均超过了单个模型，体现了集成学习平衡各模型优势、提升整体泛化能力的作用。可视化结果也显示，TPH-YOLOv5在检测微小物体、密集物体和运动模糊物体方面表现良好。
四、 研究结论与价值
本研究成功提出并验证了TPH-YOLOv5，一个专门为无人机航拍场景优化的高性能目标检测器。其核心贡献在于通过架构改进（增加预测头、引入TPH和CBAM）和策略优化（数据增强、MS测试、模型集成、自训练分类器），有效应对了该场景下的尺度多变、目标密集和背景复杂三大核心挑战。
该研究的科学价值在于：1) 将Transformer结构与经典的YOLO框架进行了有效结合，证明了自注意力机制在密集场景目标检测中的潜力；2) 提供了一套针对特定领域（无人机视觉）改进通用检测模型的系统化方法论，包括从模型结构、训练技巧到推理后处理的完整链条。其应用价值则直接体现在无人机视觉分析的各个领域，如交通监控、农业普查、生态观测等，为实际应用提供了更精准、更鲁棒的技术工具。
五、 研究亮点
六、 其他有价值的内容
研究还简要回顾了相关的技术背景，包括数据增强（Mixup, CutMix, Mosaic）、目标检测模型集成方法（NMS, Soft-NMS, WBF）以及目标检测器的一般组成（骨干网络、颈部网络、头部），为读者理解本文工作提供了必要的知识基础。此外，论文详细记录了实验配置（如PyTorch版本、GPU型号、训练周期、优化器、学习率策略、输入图像大小等），具有很好的可复现性。