分享自:

基于时分多址磁定位与机器学习的实时手部跟踪

期刊:IEEE Transactions on Instrumentation and MeasurementDOI:10.1109/tim.2026.3723493

本文介绍了一项发表于《IEEE Transactions on Instrumentation and Measurement》的研究,题为“Real-time Hand Tracking via TDMA-based Magnetic Positioning and Machine Learning”。该研究由Alex Mcmoil、Mingwei Li、Peng Li、Michael A. Urbin和Guangyong Li共同完成,通讯作者为Guangyong Li。研究团队来自美国匹兹堡大学斯旺森工程学院电气与计算机工程系、北京工业大学机械与能源工程学院以及美国退伍军人事务部匹兹堡医疗系统的人类工程研究实验室。论文于2026年8月在线发表,属于仪器与测量领域的原创性研究。

从学术背景来看,高保真手部跟踪是实现沉浸式虚拟现实(virtual reality, VR)和自然人机交互的关键技术。传统基于视觉的跟踪方案虽然应用广泛,但依赖视线且容易受到遮挡和光照条件影响。基于传感器的方案中,外骨骼式电位计或编码器体积庞大且笨重,柔性传感器手套精度和耐久性有限,惯性测量单元(inertial measurement units, IMUs)存在信号漂移问题,肌电图(electromyography, EMG)则易受噪声和肌肉疲劳影响。磁定位(magnetic positioning, MP)技术因其高精度、稳定且不受遮挡影响的特性而成为有前景的替代方案。然而,现有多节点磁定位架构通常采用频分多址(frequency division multiple access, FDMA),要求每个发射节点工作在不同频率并配备专门的接收通道,导致硬件复杂度高、信号串扰和功耗大,限制了其在可穿戴实时系统中的应用。针对这一问题,本研究提出一种基于时分多址(time-division multiple access, TDMA)的简化磁定位架构,并结合机器学习框架直接从原始磁通量数据回归关节角度,绕过传统解析逆运动学计算的瓶颈。

在系统设计方面,研究团队构建了包含四个功能模块的硬件架构:时分复用发射器、四通道接收器、微控制器(microcontroller unit, MCU)和图形用户界面(graphical user interface, GUI)。发射器采用局部自振荡电路,每个发射节点由科尔皮兹振荡器(Colpitts oscillator)驱动,工作频率统一为32.5 kHz。该设计避免了从中央振荡器到分布式线圈的长距离高频信号走线,从而减少寄生电磁干扰。系统支持最多八个发射节点,当前原型启用六个,分别佩戴于前臂、拇指近节指骨和四指中节指骨。接收器包含四个独立通道,每个通道由谐振接收线圈、前置放大器、精密整流器、无源RLC滤波器和Sallen-Key低通滤波器五级级联组成。时分复用协议使每个发射节点依次激活,激活时间为2毫秒,完成六个节点的一个完整数据周期需12毫秒,系统刷新率约为83.3 Hz。接收器在切换后的稳定时间约为0.5毫秒,这一指标决定了最小时间槽长度。

在手部跟踪机制方面,研究采用纯数据驱动的监督机器学习框架,直接从四通道接收电压映射到简化的手部运动学参数。为保证实时性和低延迟,研究对手部模型进行了降维处理,将人手约27个自由度简化为16个自由度,并通过仿生约束进一步压缩为11个独立参数。具体而言,腕部抽象为单自由度屈伸关节;拇指拥有三个自由度,分别对应腕掌关节(trapeziometacarpal, TM)的外展/内收、掌指关节(metacarpophalangeal, MCP)和指间关节(interphalangeal, IP)的屈伸;其余四指各分配三个自由度,对应MCP、近端指间关节(proximal interphalangeal, PIP)和远端指间关节(distal interphalangeal, DIP)。根据Hrabia等人建立的线性生物力学关系,食指、中指、无名指和小指的DIP角度近似等于0.88倍的PIP角度,拇指的IP角度近似等于0.77倍的MCP角度,从而将回归空间从16维压缩至11维。机器学习模型采用多层感知器(multilayer perceptron, MLP),每个运动链独立使用一个专用网络。网络包含三个隐藏层,每层200个神经元,使用修正线性单元(rectified linear unit, ReLU)激活函数,以均方误差(mean squared error, MSE)作为损失函数。训练数据由Leap Motion Controller 1(LMC1)光学跟踪系统提供地面真值关节角度,该系统以30 Hz频率采集手部关键点坐标,关节角度通过相邻指骨向量之间的点积计算获得。

在实验验证阶段,研究团队制作了功能原型系统。系统由两个主要模块组成:一个佩戴于前臂的盒子容纳电源、微控制器和后级信号处理电路;另一个更紧凑的盒子容纳时分复用模块、接收线圈和前置放大器电路。数据集来自两名健康受试者的左手。对于受试者1,拇指和非拇指手指各采集约一分钟连续数据(1800个样本),腕部采集20秒(600个样本),数据按70%训练、10%验证、20%测试划分。模型训练使用Adam优化器,批量大小为200,初始学习率为10⁻³,并采用早停机制和L2正则化(λ=10⁻⁴)防止过拟合。实验在慢速(约10秒/周期)、中速(约3秒/周期)和快速(约1秒/周期)三种运动速度下评估跟踪保真度。定量结果显示,在慢速和中速运动下,大多数关节的平均绝对误差(mean absolute error, MAE)介于3°至6°之间。例如,非拇指手指在慢速下的MCP关节误差约为3°至5°,PIP关节误差略高;拇指TM关节和MCP关节的误差在类似范围内;腕部在慢速下的误差也保持在这一区间。随着速度增加至快速,误差出现较明显上升,但仍在可接受范围内。与现有技术相比,本研究的结果与Parizi等人报道的3.63°误差和Santoni等人报道的5.5°平均关节误差处于同一水平。第二受试者的跟踪误差分布与第一受试者高度一致,验证了设备的跨用户可重复性。

研究的主要结论是,基于TDMA的磁定位架构与机器学习回归框架相结合,能够在显著降低硬件复杂度和计算开销的同时实现高精度多指跟踪。与FDMA方案相比,TDMA方案将所需的接收通道数从最多24个减少到四个,并允许使用单一MCU完成信号采集,大幅降低了制造成本、功耗和外形尺寸。数据驱动方法有效规避了电磁逆问题的解析复杂性和个体解剖差异带来的逆运动学建模困难。该研究的手部跟踪系统在可穿戴机器人、虚拟现实和遥操作等领域具有广泛的应用前景。

本研究的亮点包括:第一,提出了一种基于TDMA的紧凑型磁定位架构,通过时间隔离实现多节点单频工作,从根本上简化了接收前端电子设计。第二,创新性地采用局部科尔皮兹振荡器替代中央振荡器加长走线的方案,有效减少了寄生电磁干扰并提升了信号质量。第三,完全采用数据驱动的机器学习方法,直接从原始电压数据回归关节角度,绕过了传统解析逆问题求解和个性化几何标定。第四,通过仿生约束将回归空间降维,在保持抓握保真度的同时显著降低了模型复杂度和训练数据需求。第五,系统刷新率达到83.3 Hz,满足实时手部跟踪需求,且硬件预留了扩展至八个乃至十六个发射节点的能力。此外,研究还探讨了替代机器学习算法的可行性,发现决策树回归器在高维连续物理流形近似中样本复杂度高,多项式回归则因极端非线性而存在欠拟合或龙格现象,进一步验证了MLP在该任务中的适用性。未来工作将聚焦于整合模块化硬件至统一腕戴式外形、利用下一代光学跟踪硬件扩展横向运动跟踪能力,以及将推理迁移至边缘计算平台以实现完全便携化的独立系统。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com