分享自:

基于多模态信号与增强ResNet的下肢外骨骼运动意图识别方法

期刊:biomedical signal processing and controlDOI:10.1016/j.bspc.2024.107254

本文旨在向中文读者介绍一篇发表于《Biomedical Signal Processing and Control》期刊(2025年,第101卷,文章ID 107254)的原创性研究论文。该论文由来自上海理工大学康复工程与技术研究所及上海市辅助器具工程技术研究中心的孙浩源、顾晓平、张宇博、孙福林、张盛、王多晋*和喻洪流共同完成。本研究聚焦于一个在康复工程与人机交互领域具有重要应用前景的课题:基于多模态信号的下肢外骨骼(Lower Limb Exoskeleton, LLE)运动意图识别。

一、 研究背景与目标

随着社会老龄化加剧,老年人及下肢功能障碍者面临着肌肉萎缩、行动不便等问题。下肢外骨骼作为一种重要的辅助与康复设备,能够有效提升这类人群的行动能力和生活质量。然而,当前许多商用外骨骼在平衡恢复功能上存在局限,而实现主动平衡功能的关键前提是准确、实时地识别使用者的运动意图(Locomotion Intention Recognition)。因此,开发高效、鲁棒的意图识别算法是推动外骨骼技术发展的核心环节。

运动意图识别旨在通过分析来自人体的多源信号(如加速度计、陀螺仪、力传感器等),预判使用者即将执行的动作(如行走、上下楼、坐下、站起、跌倒等)。传统的识别方法,如基于启发式规则或传统机器学习(如支持向量机SVM)的算法,往往依赖于手工提取特征,难以处理复杂的非线性关系,且泛化能力有限。近年来,深度学习,特别是卷积神经网络(CNN),在该领域展现出巨大潜力,但其性能受限于传感器数据质量、网络结构设计以及多源信息融合的有效性。

本研究的主要目标正是为了应对这些挑战。研究团队旨在提出一种增强型的深度学习模型,以提高在传感器数据可能不足或不均衡情况下的运动意图识别性能。具体而言,他们希望构建一个能够从多模态信号中有效融合特征、并提升模型稳定性和准确率的算法框架,最终为下肢外骨骼实现更精准、更自然的协同控制提供理论基础。

二、 研究方法与详细流程

本研究是一项系统的算法开发与验证工作,其工作流程主要包括以下几个关键步骤:1)算法模型设计;2)数据集选择与预处理;3)实验设置与模型训练;4)性能评估与对比分析。

1. 算法模型设计:RMAPG框架的构建 本研究以经典的ResNet-50深度残差网络作为基础架构,并针对运动意图识别任务的特点,创新性地集成了三个核心模块,构成了名为RMAPG的增强模型。 * 多源数据融合模块(Multi-source Data Fusion Module):这是模型处理多传感器数据的入口。该模块首先将来自不同传感器(如加速度计、陀螺仪)的原始数据转换为费舍尔向量(Fisher Vectors, FVs)。FV是一种统计特征表示方法,能够将原始数据“软化”量化,捕捉其分布特性,相比传统“硬”量化能提供更丰富、更精细的信息。随后,对所有传感器生成的FV进行拼接,并利用主成分分析(Principal Component Analysis, PCA)进行降维融合,以消除噪声和冗余信息,生成统一的特征表示。特别地,对于性能表现较差的传感器数据流,在转换为FV之前,会先经过一个轻量级的卷积块注意力模块(Convolutional Block Attention Module, CBAM)进行特征增强,以提升其信息质量。 * 自适应门控网络(Adaptive Gated Networks, AGN):该模块被置于融合特征输入ResNet之前。AGN的作用是动态调整网络中的信息流,像一个“智能阀门”,能够过滤掉融合特征中的无关或冗余信息,同时保留和强化对分类任务至关重要的细粒度特征。这有助于模型专注于关键信息,提升识别精度。 * 自适应池化模块(Adaptive Pooling Module):此模块被放置在ResNet网络的输出端,取代了传统的固定尺寸池化层。它可以根据输入特征图的尺寸动态计算池化核的大小,确保无论输入尺寸如何变化,都能输出固定尺寸的特征向量。这增强了模型处理不同长度或分辨率输入数据的灵活性,并有助于压缩空间维度、抑制冗余信息,从而提高模型的稳定性和泛化能力。

2. 数据集选择与预处理 为了全面评估模型的泛化能力,研究使用了两个公开数据集和一个自采集数据集。 * 公开数据集: * DSADS数据集:包含8名受试者执行19种体育活动的数据,本研究选取了其中6种日常活动(坐、站、仰卧、侧卧、上楼、下楼)。数据来自加速度计、陀螺仪和磁力计,每种活动样本量均衡(各60,000个数据点)。 * MEx数据集:包含30名受试者执行7种物理治疗锻炼动作的数据,数据来自加速度计、深度相机和压力垫。该数据集代表了“运动识别”这一特殊且研究较少的意图识别类别,用于测试算法在特定领域的适用性。 * 自采集数据集:由研究团队自行采集,专注于包含跌倒检测在内的六类运动意图识别(行走、坐、站、上楼、下楼、跌倒)。数据来源于佩戴在受试者身上的加速度计、陀螺仪以及鞋垫式力传感器。该数据集共包含约68,000个数据点,各类别样本量基本平衡,其中跌倒数据(C6)略多,以应对此类意外事件识别的挑战。 * 数据预处理:对所有数据集均采用滑动窗口(窗口大小5秒,步长2秒)进行数据分割,以生成用于模型训练的序列样本。对自采集数据集的数据进行了归一化处理,将数值映射到[0,1]区间以消除量纲影响。对于MEx数据集中加速度计信号,还应用了离散余弦变换(DCT)来增强特征可见性。

3. 实验设置与模型训练 实验在统一的软硬件环境下进行(AMD Ryzen 7 CPU, NVIDIA RTX 3070 GPU, TensorFlow框架)。为了验证每个新增模块的有效性,研究设计了渐进式的模型对比实验: * ResNet:基础ResNet-50模型。 * RM:ResNet + 多源数据融合模块。 * RMAP:RM + 自适应池化模块。 * RMAPG:RMAP + 自适应门控网络(即最终提出的完整模型)。

训练采用Adam优化器,学习率0.001,批次大小64,共训练50个周期,使用分类交叉熵作为损失函数。数据按7:3的比例划分为训练集和测试集。

4. 性能评估指标 采用分类任务中常用的多项指标进行综合评估:准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1分数(F1-score)以及损失值(Loss Value)。

三、 主要研究结果

实验结果清晰地展示了各个模块对模型性能的逐步提升作用。

  1. 基础模型表现:在DSADS和MEx数据集上单独使用ResNet时,模型表现不稳定。在DSADS上能达到约90%的准确率,但在更复杂的MEx数据集上,训练初期出现过拟合现象,验证集准确率较低。这表明单一的ResNet模型泛化能力不足,难以直接应用于多样化的运动意图识别任务。

  2. 多源数据融合模块(RM)的效果:加入多源数据融合模块后,模型性能得到改善。通过CBAM对性能较差的传感器数据(如本研究中两个数据集的加速度计数据)进行特征增强,再通过FV和PCA进行融合,生成了质量更高的统一特征表示。与基础ResNet相比,RM在自采集数据集上的准确率从88%提升至92%,F1分数从0.89提升至0.92。然而,损失函数曲线仍显波动,模型稳定性有待提高。

  3. 引入自适应池化模块(RMAP)的效果:在RM基础上加入自适应池化模块后,模型的稳定性显著增强。从损失曲线和准确率曲线可以看出,训练集和验证集之间的拟合度更好,过拟合现象得到缓解。在自采集数据集上,准确率进一步提升至95%,F1分数达到0.95。这证明自适应池化有效提升了模型处理不同数据特征的能力,并减少了冗余信息。

  4. 完整模型RMAPG的卓越性能:最终,集成所有模块的RMAPG模型在所有数据集上均表现出最优且稳定的性能。在最具挑战性和应用针对性的自采集数据集上,RMAPG对六类运动意图的识别达到了98%的准确率,同时精确率为0.98,召回率为0.99,F1分数为0.98,损失值低至0.008。混淆矩阵显示,即使是容易混淆的动作对(如行走与上楼、坐下与站起),RMAPG也能实现很高的区分度,跌倒识别的准确率也达到了97%。

  5. 对比分析:研究还将RMAPG与近期其他文献中的方法进行了对比。如表10所示,在类别数相近的数据集上,RMAPG的准确率(98%)显著高于基于CNN-LSTM的方法(92.13%)、改进CNN的方法(92.71%)和ResNet-BiLSTM的方法(97.32%),与基于图像数据的MobileNetV2方法(98.4%)相当,但RMAPG使用的传感器数据对硬件要求更低,数据处理更高效。这证明了RMAPG在运动意图识别任务中兼具高精度和高实用性。

四、 研究结论与价值

本研究成功提出并验证了一种名为RMAPG的增强型深度学习模型,用于下肢外骨骼的多模态运动意图识别。该模型通过集成多源数据融合模块、自适应门控网络和自适应池化模块,有效解决了多传感器信息利用不足、模型稳定性欠佳以及特征提取不够精细等问题。

研究的科学价值在于:1)提出了一种基于费舍尔向量和PCA的多源数据融合框架,提升了多模态特征的利用率;2)构建了一个结合了注意力机制、自适应门控和池化操作的深度学习模型新架构,为处理时序生物力学信号提供了新的思路;3)在包含跌倒数据的自采集数据集上取得了优异的识别性能,为算法在实际外骨骼系统中的应用奠定了坚实的理论基础。

其应用价值尤为突出:高精度、高鲁棒性的运动意图识别算法是实现下肢外骨骼主动平衡控制、自然人机交互和防跌倒功能的核心。本研究证明RMAPG算法能够准确识别包括跌倒在内的多种日常活动意图,且性能优于现有多种方法,这为开发下一代智能、安全、易用的康复与助行外骨骼设备提供了关键的技术支持。

五、 研究亮点

  1. 问题导向的创新模型:研究并非简单套用现有深度学习模型,而是针对运动意图识别中多源数据融合、模型稳定性和特征选择等具体挑战,有针对性地设计了融合模块、AGN和自适应池化模块,形成了高效的RMAPG框架。
  2. 全面的数据集验证:研究不仅使用了公开的DSADS(日常活动)和MEx(专项运动)数据集来验证模型的泛化能力,还专门采集了包含大量跌倒数据的自建数据集,使研究更贴近外骨骼实际应用中的安全需求。
  3. 显著的性能提升:通过渐进式实验,量化展示了每个新增模块对模型性能(准确率、稳定性)的贡献,最终在自采集数据集上取得了98%的准确率和极低的损失值,结果具有说服力。
  4. 明确的应用前景:研究始终围绕下肢外骨骼这一具体应用场景展开,算法设计考虑了传感器数据的特性,结论直接指向未来外骨骼原型机的算法集成与测试,具有清晰的工程转化路径。

六、 研究局限与未来展望

作者在讨论部分也客观指出了本研究的局限性及未来方向:1)目前缺乏与外骨骼原型机的实际集成测试,人机交互闭环验证有待进行;2)自采集数据集仅在平坦地面采集,未能涵盖复杂真实环境;3)使用的传感器类型有限,未来可整合肌电(EMG)、脑电(EEG)等更多生理信号;4)深度学习模型本身仍有进一步优化的空间。

未来工作将集中在:开发原型机进行实地测试、扩充涵盖不同地形的数据集、探索新型传感器融合、以及持续优化深度学习网络结构。本研究为下肢外骨骼的智能控制迈出了坚实的一步,其提出的RMAPG框架具有重要的学术参考价值和工程应用潜力。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com