分享自:

基于目标分离与注意力增强的毫米波雷达多目标人类活动识别方法研究

期刊:IEEE Internet of Things Journal

本文旨在向中文研究界介绍一篇由Zhang Yiyang、Gao Minhan、Yu Mingzhou、Yan Tianhong及Tan Aihong(†通讯作者)共同完成的研究论文。该研究发表于 IEEE Internet of Things Journal,提交日期为2026年1月8日,所有作者均来自中国计量大学。

本研究隶属于物联网与智能感知交叉领域,具体聚焦于基于毫米波雷达的人类活动识别技术。随着全球人口老龄化加剧及生活品质期望的提升,健康监测与智能传感技术变得日益重要。作为该领域的核心,人类活动识别在智能家居、医疗健康、安全监控和人机交互等方面展现出巨大潜力。传统方法主要依赖视觉传感器或可穿戴设备,但前者存在隐私泄露风险且在恶劣环境下性能骤降,后者则受限于穿戴舒适性和长期无监督监测的实际需求。毫米波雷达凭借其独特的电磁特性和信号处理优势,为解决上述瓶颈开辟了新途径。尽管毫米波雷达在单目标活动识别中已取得高精度,但在真实的多目标场景下,信号混叠和跨帧目标身份关联等问题导致其性能严重下降。本研究正是为了解决这一关键挑战,其核心目标是提升复杂多目标环境中毫米波雷达人类活动识别的准确性与鲁棒性,通过提出一种创新的“先分离后检测”框架,有效处理多目标信号混叠问题并保持目标身份一致性,旨在为真实室内环境(如家庭、公共场所)提供一种高效、实用的解决方案。

本研究提出并实现了一个端到端的多目标人类活动识别处理框架,该框架包含四个关键模块,工作流程详尽且环环相扣。 首先为信号预处理与距离-多普勒矩阵生成。 研究使用德州仪器AWR2243雷达传感器和DCA1000EVM数据采集卡作为硬件平台,采集76-81 GHz频段的调频连续波原始数据。原始数据构成为慢时间(啁啾索引)、快时间(模数转换采样索引)和接收通道索引的三维矩阵。为抑制静态杂波,对每个接收通道的中频信号独立应用相量均值对消法,减去所有脉冲的平均值以增强人体运动产生的动态信号分量。随后,对滤波后的信号依次进行距离维快速傅里叶变换和多普勒维快速傅里叶变换,分别解析目标的径向距离和速度信息,从而生成复数形式的距离-多普勒矩阵。为提升信噪比,对来自所有接收通道的RDM进行非相干积分,得到一个清晰展示场景内所有目标在距离和速度维度上能量分布的功率矩阵PRDM。 核心环节是多目标分离。 该模块旨在从混合的RDM中可靠地分离出个体目标信号,包含三个阶段。第一阶段是目标点检测:利用有序统计恒虚警率检测器在RDM上滑动,通过参考窗口(包括检测单元、保护单元和训练单元)估计局部噪声功率并设定动态阈值,筛选出高信噪比的目标点云集合,有效区分真实目标与噪声及杂波。第二阶段是点云聚类:鉴于不同个体的距离和速度组合通常具有物理上的独特性,研究采用基于密度的空间聚类应用噪声算法对检测到的点云进行聚类。该算法无需预设聚类数量,能根据点密度发现任意形状的簇,并能有效处理未知且动态变化的目标数量,将混叠的RDM初步划分为对应于单个人体目标的子区域。第三阶段是跨帧跟踪与身份管理:为解决目标关联问题,本研究创新性地提出了一种名为KHLIT的多目标跟踪器,它集成了卡尔曼滤波器、匈牙利算法和轨迹生命周期管理机制。卡尔曼滤波器基于匀速运动模型预测目标在下一帧的状态(位置、速度),匈牙利算法则用于计算预测状态与新检测到的聚类中心之间的加权欧氏距离成本矩阵,并求解最优匹配。对于成功匹配的目标,进行卡尔曼更新以融合预测与观测。轨迹生命周期管理机制专门处理目标短暂遮挡和进出检测区域等复杂情况:在临时遮挡期间(连续未匹配帧数小于预设最大值Kmax),跟踪器不终止轨迹,而是基于卡尔曼滤波器进行仅预测不更新的状态递推,并逐渐增大预测协方差以模拟不确定性增加,同时保留轨迹ID和历史状态;当目标重新出现时,通过成本匹配实现再识别。该机制确保了在目标交叉、遮挡等场景下身份标识的稳定性和连续性。 随后是微多普勒特征提取。 基于分离模块为每帧中每个目标点分配的稳定ID,生成对应的二进制掩膜。将该掩膜与原RDM功率谱进行逐元素相乘,得到仅包含该目标信号的单目标RDM。为提取目标的动态速度特征并压缩数据维度,沿距离轴对该单目标RDM进行能量积分,得到该帧目标的多普勒功率谱。最后,将连续T帧的多普勒功率谱按时间顺序拼接,构建成该目标的二维“速度-时间”微多普勒时频谱图,该谱图保留了人体活动的细微运动细节,并作为后续活动识别的关键输入。 最后是人体活动识别。 考虑到分离后的MD谱图仍可能存在残余干扰区域或关键特征模糊,本研究没有采用传统的“整图分类”范式,而是将活动识别任务建模为对时频特征区域的目标检测问题。为此,设计了一种集成注意力机制的新型卷积神经网络,名为CSAM-YOLO。该网络以轻量化的YOLOv8n架构为基础,在其骨干网络和颈部网络的关键位置嵌入了通道与空间注意力模块。CSAM模块依次包含通道注意力子模块和空间注意力子模块:通道子模块通过全局平均池化和最大池化聚合空间信息,再经由共享多层感知器生成通道注意力权重向量,以重新校准各特征通道的重要性;空间子模块则在通道细化后,沿通道维度进行池化并卷积,生成空间注意力图以突出重要区域。这种设计使网络能够自适应地聚焦于MD谱图中最具判别力的关键时频特征区域,同时抑制无关背景,从而增强对噪声和干扰的鲁棒性,并提高了模型决策的可解释性(通过输出边界框指示特征区域)。

实验与分析部分详尽验证了所提框架的有效性。首先,在自建数据集上评估了单目标活动检测性能。 数据集包含九名志愿者在两种室内环境下进行的行走、坐下、跌倒、蹲下四类活动,共4000个单目标样本。CSAM-YOLO模型在该数据集上训练后,在测试集上取得了卓越性能:平均精度均值高达99.5%,即使以更严格的IoU阈值(0.5-0.95)衡量,整体mAP也达到86.9%。混淆矩阵显示模型对“行走”和“跌倒”动作的分类准确率达100%,且未出现动作类别间的误判,仅存在少量将低幅度动作误判为背景的情况,证明了模型在清晰单目标特征下的优异识别与定位能力。 其次,通过消融实验验证了CSAM模块的有效性。 在相同训练条件下,与基准YOLOv8n模型相比,集成CSAM的模型在mAP@50:95指标上从0.862提升至0.869,参数量仅增加约1%(从3.0M增至3.03M),计算复杂度保持不变。这证实了CSAM是一种高效的即插即用组件,能以可忽略的成本提升模型性能,特别是在聚焦关键特征和抑制背景干扰方面具有优势。 最为关键的是,通过对比实验验证了多目标分离框架的必要性和有效性。 研究设置了三个数据集:单目标数据集(A)、原始多目标混合信号数据集(B)、以及经所提分离框架处理后得到的单目标数据集(C)。使用在数据集A上训练的CSAM-YOLO模型分别在数据集B和C上进行测试。结果表明,模型在未分离的混合信号数据集B上表现极差,整体平均F1分数仅为41.85%,其中“坐下”动作的召回率低至10.38%,混淆严重。这直接证明了多目标信号混叠是导致识别性能恶化的根本原因。相比之下,在经分离处理的数据集C上,模型性能实现了质的飞跃:整体平均F1分数飙升至93.43%,提升了超过51个百分点,所有动作类别的精确率、召回率和F1分数均大幅提升,混淆矩阵对角线值均高于0.94。这一对比强有力地证明,前端多目标信号分离是复杂场景下毫米波雷达活动识别的关键且必要步骤,所提分离框架能有效解耦混合信号,为后端检测网络提供高质量、可区分的单目标特征。 此外,研究还专门评估了KHLIT跟踪器在遮挡场景下的鲁棒性。 在150组包含遮挡(持续1-10帧)的多目标雷达数据测试中,KHLIT跟踪器表现优异:在1-4帧遮挡时,跟踪成功率达98%,身份交换率为0%;在5-10帧遮挡时,跟踪成功率仍保持在95%以上,身份交换率低于2%。其性能显著优于仅使用卡尔曼滤波与最近邻算法或匈牙利算法的方案。这得益于其集成的轨迹生命周期管理机制,能够在目标暂时消失时保留身份并合理预测,避免误终止或身份漂移,为后续活动识别提供了稳定的目标身份序列。

本研究的主要结论是,所提出的“先分离后检测”框架成功解决了毫米波雷达在多目标人类活动识别中面临的核心挑战——信号混叠与身份关联。通过融合OS-CFAR检测、DBSCAN聚类和创新的KHLIT跟踪器,实现了对混叠雷达信号的有效解耦和跨帧目标身份的稳定维持。通过将活动识别转化为目标检测任务并设计CSAM-YOLO网络,增强了对关键时频特征的提取能力和抗干扰性。实验结果表明,该框架将多目标识别精确率从处理原始混合信号时的51.09%大幅提升至90.37%,并且在遮挡场景下展现出卓越的跟踪鲁棒性。

本研究的价值主要体现在以下几个方面:在科学价值上,它提出了一种系统性解决毫米波雷达多目标信号处理难题的新范式(“先分离后检测”),并创新性地将目标跟踪技术与活动识别任务深度结合,为相关领域的研究提供了新思路和方法论参考。在技术价值上,所提出的KHLIT多目标跟踪器和CSAM-YOLO识别网络均为新颖的设计,前者在复杂室内场景下实现了高精度的身份维持,后者则通过注意力机制提升了特征利用效率。在应用价值上,该框架不依赖高分辨率天线阵列或多传感器融合,硬件成本较低,且经过真实室内环境数据验证,具有良好的工程实用性和可部署性,适用于智能家居、养老监护、安防监控等对隐私保护要求高且环境复杂的实际场景。

本研究的亮点在于:第一,研究问题的针对性与前沿性:直击毫米波雷达从实验室单目标走向实际应用多目标场景的核心痛点。第二,方法框架的创新性与系统性:并非简单改进某个单一算法,而是构建了一个从信号预处理、目标分离、特征提取到活动识别的完整、端到端的创新解决方案,其中KHLIT跟踪器和将识别任务转化为目标检测的构思尤为突出。第三,实验验证的充分性与说服力:通过构建包含单目标和多目标场景的自有数据集,并设计严谨的对比实验(混合信号vs.分离后信号)和消融实验,全方位、多层次地验证了各模块及整体框架的有效性,数据支撑坚实。第四,工程实用性的考量:在算法设计上兼顾了性能与复杂度,所选用的YOLOv8n基础框架和所提的分离跟踪算法均考虑了实时处理需求,展现了向实际边缘设备部署的潜力。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com