基于机器学习的软光纤手套系统用于手语识别的研究报告

该研究由南方科技大学的Renjie Zhu、Dongliang Fan、Jiang Lin、Huijuan Feng、Hongqiang Wang（IEEE高级会员）及Jian S. Dai（IEEE会士）团队完成，发表于2024年2月的IEEE Robotics and Automation Letters（第9卷第2期）。

学术背景
手语识别技术是打破听障人士与非手语使用者间沟通壁垒的关键工具，也是人机交互（Human-Machine Interaction, HMI）领域的重要研究方向。传统基于视觉的手语识别易受光线、遮挡和背景干扰影响，而现有的智能手套系统因传感器设计和分布限制，识别能力有限。本研究提出了一种低成本的双手套光纤系统，结合柔性光纤传感器和深度学习算法，旨在实现高精度、宽范围的手语识别，并探索其在虚拟现实（VR）中的应用。

研究流程与方法
1. 软光纤传感器的设计与开发
- 原理：基于受抑全内反射（Frustrated Total Internal Reflection）原理，传感器通过光强变化检测拉伸、弯曲和按压多模态变形。核心为液态甘油（折射率1.47）和柔性Ecoflex 50外壳（折射率1.40）。
- 制作：采用流铸法（Flow Casting）制备直径2毫米的软管，注入甘油后封装LED（红光/蓝光）和光电探测器，形成柔性光纤传感器。
- 验证实验：通过COMSOL仿真和实际测试验证传感器性能，包括拉伸（100%应变，线性损耗1.46 dB/cm）、弯曲（曲率8–100 m⁻¹）和按压（变形0–1.8 mm）的灵敏度与重复性（100次循环测试）。

1. 手套系统构建

   • 硬件：每只手套集成5个光纤传感器（检测手指弯曲）和1个六轴陀螺仪（检测手部运动），通过3D打印柔性支架固定传感器。无线控制板（STM32F407微控制器、蓝牙模块HC-05）实现数据采集与传输。
     
   • 数据采集：3名受试者分别采集36种静态手势（26字母、10数字）和18种动态手势数据，每种手势持续10秒（约10,000组数据），采样率200 Hz。
     

2. 机器学习算法

   • 静态手势识别：采用反向传播神经网络（BP Neural Network），输入层11神经元（5传感器+6陀螺仪数据），隐藏层50神经元，输出层36神经元。训练集与验证集比例9:1，准确率达98.6%。
     
   • 动态手势与句子识别：使用卷积神经网络（CNN）处理22通道×200时间步长的数据，3层卷积核（3×3）和ReLU激活函数，动态手势识别准确率95%。句子识别通过动态窗口分割单词后按序列组合实现。
     

主要结果
1. 传感器性能：光纤传感器对拉伸、弯曲和按压的响应线性且重复性高（图4），解决了传统电阻/电容传感器易受电磁干扰或结构复杂的问题。
2. 手势识别：
- 高相关性手势（如“M”与“N”）的区分通过按压检测实现，相关系数从0.97降至0.87（图7）。
- 静态手势混淆矩阵显示19种手势准确率超99.5%（图8），动态手势整体准确率95%（图10）。
3. VR应用：手套成功控制虚拟角色完成移动、跳跃等7种指令（图11），验证了其在交互系统中的实用性。

结论与价值
该研究通过软光纤传感器与深度学习的结合，实现了高精度、多模态的手语识别系统，其科学价值在于：
1. 技术创新：首次将液态核心光纤传感器应用于手势识别，兼具柔性和抗干扰特性。
2. 应用扩展：系统支持静态/动态手势及句子翻译，并展示了VR控制的潜力，为听障人士沟通和人机交互提供了新方案。

研究亮点
1. 多模态传感：单一传感器同时检测弯曲、拉伸和按压，简化了系统结构。
2. 高性能算法：BP神经网络和CNN分别优化静态与动态手势识别，准确率超95%。
3. 低成本实现：整套系统成本仅45.9美元（图5b），具有商业化潜力。

其他价值
研究还探讨了传感器在连续手势识别和触觉反馈中的未来优化方向，为后续研究提供了技术框架。