分享自:

基于毫米波雷达和扩散框架的多假设人体姿态估计方法

期刊:IEEE Sensors JournalDOI:10.1109/JSEN.2025.3572253

基于毫米波雷达与扩散框架的多假设人体姿态估计方法:Diff-HPE

一、作者与发表信息
本文由Lanxin Li、Che Liu(IEEE会员)、Wenming Yu和Tie Jun Cui(IEEE Fellow)合作完成,作者均来自东南大学毫米波国家重点实验室。研究成果发表于*IEEE Sensors Journal*第25卷第13期(2025年7月1日),论文标题为《Diff-HPE: Multihypothesis Human Pose Estimation Based on mmWave Radar and Diffusion Framework》。


二、学术背景
科学领域:本研究属于计算机视觉与无线感知交叉领域,聚焦于毫米波雷达(mmWave radar)人体姿态估计(Human Pose Estimation, HPE)中的应用。
研究动机:传统光学传感器(如摄像头、LiDAR)在低光照、隐私保护或遮挡场景中存在局限性,而毫米波雷达具有穿透性强、隐私友好、不受光照影响等优势。然而,单毫米波雷达数据存在分辨率低、点云稀疏、多径噪声等问题,导致姿态估计精度不足。
研究目标:提出一种基于扩散模型(Diffusion Model)的新方法Diff-HPE,通过多假设生成与噪声抑制,实现高精度、长距离的室内人体姿态估计。


三、研究流程与方法
1. 数据采集与预处理
- 硬件系统:采用TI MMWCAS EVM毫米波雷达(77–81 GHz,12发射/16接收天线)与ZED 2i相机同步采集数据,构建包含84,000帧的多人动态动作数据集(行走、拳击、跳跃等)。
- 点云生成:通过快速傅里叶变换(FFT)解析雷达信号,生成含位置、速度、强度的5D点云数据(公式1-3)。
- 去噪与增强
- CFAR滤波:初步剔除静态噪声。
- 轻量级神经网络分类:基于点云特征(位置、速度、强度)区分人体反射点与环境噪声,准确率提升20%。
- 多帧联合增强:通过滑动窗口动态融合历史帧点云,填补单帧稀疏性(公式6-12),将每帧点数稳定至300左右。

2. 扩散模型设计
- 前向过程:将真实人体姿态逐步添加高斯噪声,模拟雷达点云的退化过程(公式13-15)。
- 逆向过程:采用Transformer与GM模块结合的降噪网络,联合雷达点云特征与噪声姿态数据,逐步重建高精度姿态(图2)。
- 时间步嵌入:通过余弦编码捕获扩散过程的时序状态。
- 多假设生成:基于DDIM(Denoising Diffusion Implicit Models)生成20组候选姿态假设,通过几何一致性筛选最优解(公式23-24)。

3. 实验验证
- 评估指标:MPJPE(平均关节位置误差,5.2 cm)、MPJAE(平均关节角度误差,7.26°)、PCK(关键点正确率,96.18%)。
- 对比实验:在遮挡(织物、木板等)与动态场景下,Diff-HPE显著优于MARS、MMMesh等基线方法(表II),尤其在3–6米距离内保持稳定性(图6)。


四、主要结果与逻辑链条
1. 点云预处理:去噪算法将环境噪声点过滤率提升至90%,多帧融合使点云密度提高3倍,为后续姿态估计提供高质量输入。
2. 扩散模型性能:逆向过程通过时空特征融合,有效恢复遮挡部位的关键点(如侧身时的肩关节),误差较传统方法降低1.34 cm。
3. 多假设聚合:基于雷达点云质心的几何筛选策略(公式24)将最终MPJPE优化至5.2 cm,较简单平均法提升0.5 cm。


五、结论与价值
科学价值
- 首次将扩散模型引入毫米波雷达姿态估计,解决稀疏点云下的多解歧义问题。
- 提出动态多帧融合与轻量级去噪网络,为雷达点云处理提供新范式。
应用价值:适用于家庭健康监护、自动驾驶行人跟踪等隐私敏感场景,在完全遮挡条件下仍能保持96%的PCK(图7)。


六、研究亮点
1. 方法创新:结合扩散模型的多假设生成能力与雷达点云的时空连续性,突破传统单输出模型的局限性。
2. 工程贡献:开发实时预处理 pipeline,推理时间仅1.98 ms/帧,支持边缘设备部署。
3. 数据集扩展:涵盖49类高动态动作,为毫米波雷达HPE研究提供基准数据。


七、其他价值
- 硬件鲁棒性验证:在塑料、木材等强干扰材料遮挡下,系统SDV(速度标准差)仍低于0.15 m/s(图8),证明其工业环境适用性。
- 开源计划:作者拟公开预处理代码与部分数据集,推动领域发展。

(全文约2000字)

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com