基于单端多模光纤的深度学习赋能的软体机器人通用形状感知方法

本研究由清华大学精密仪器系的何兆凡、王乐乐、耿海迪、卢政阳、何甜甜、钟宏坤、张海龙，四川大学华西医院的朱润峰、赵庆祥、孟媛，以及清华大学精密仪器系的李丹、严平、刘强、肖启荣共同完成。研究成果以题为“Deep learning–enabled versatile shape perception for soft robots via single-ended multimode fiber”的研究论文形式，于2026年6月12日发表在《科学进展》（*Science Advances*）期刊上。

一、 研究背景与目标

本研究属于光学传感、机器人学和人工智能交叉领域，具体聚焦于软体机器人的本体感知（proprioception）技术。软体机器人以其连续介质和超冗余自由度，在非结构化环境中展现出卓越的适应性和安全性。然而，这种固有的柔顺性也使其在外部交互过程中产生的连续形变难以精确感知和预测。形状不仅是软体机器人状态的时空载体，更是推断力、接触等其他物理量的基础。因此，构建能够解码复杂形变的感知系统，是将软体机器人从开环执行器转变为具备闭环认知能力的智能体的关键。

当前，将成熟的传感技术（如电子皮肤、光纤光栅、视觉系统等）移植到软体机器人上面临着集成度与功能多样性之间的根本矛盾。在空间受限的介入式场景（如血管介入手术）中，这一问题尤为突出：追求感知的丰富性往往需要硬件堆叠，而追求极简集成则通常无法提供足够的信息。具体而言，离散分布的传感单元无法连续覆盖软体结构的整体，导致空间采样不连续；复杂的信号传输线和冗余封装引入了集成刚度，限制了软体结构固有的连续变形自由度；高精度传感方案通常依赖庞大复杂的解调设备，难以满足介入场景对微型化的严格要求。

针对上述挑战，本研究旨在开发一种适用于异构任务的通用感知方法。其核心目标是在保持软体特性的前提下，通过极简的硬件集成，实现对复杂交互过程中连续形态变化的编码与解码。研究团队提出了一种基于单端多模光纤（Multimode Fiber, MMF）和深度学习解码的通用形状感知框架，旨在突破硬件适应性的限制，为软体机器人的数字孪生和闭环控制奠定基础。

二、 研究流程与方法

本研究包含三个核心验证阶段，分别对应离散状态确认、连续形状追踪和三维形态重建这三种异构感知任务。所有实验均基于一个统一的、高度集成的单端反射式MMF传感系统。

1. 极简反射式MMF传感系统构建： 研究团队摒弃了传统光纤传感（如光纤布拉格光栅FBG或光频域反射OFDR）所需的复杂特种光纤和光谱解调设备，也改进了传统双端传输MMF传感的拓扑结构（需形成环路，不利于微创集成）。他们提出了一种基于标准阶跃折射率多模光纤（直径约400微米）的单端反射式架构。利用侧向耦合光注入策略，将照明光和携带形变信息的反射光整合在光纤的同一端，物理上消除了对远端传输环路的依赖。当光纤发生形变时，其内部介电常数扰动会改变模式耦合特性，最终在输出端形成独特的高维散斑场。该散斑场作为形状信息的载体，被一个单色CMOS相机捕获。整个光学系统结构紧凑，无需专用解调仪。

2. 离散状态确认（点感知）： * 研究对象与数据采集： 首先在一个高精度旋转平台上进行基准验证。将一段50毫米长的MMF传感段固定在平台上，通过控制远端尖端角度（±90°范围）来模拟连续形态变化。采集了180个离散状态（1°间隔）的散斑图像数据，用于训练和测试。 * 方法： 采用基于视觉几何组（VGG）风格的分类网络。研究引入了“置信度门控”机制。系统通过五折交叉验证训练五个独立子网络，并通过软投票机制集成它们的输出概率分布。关键创新在于使用预测概率分布与均匀分布之间的Kullback-Leibler（KL）散度来量化预测置信度。仅当置信度超过严格阈值（95%）时，系统才输出特定的“锚点”状态（即校准过的状态）；否则，将输入归类为“未见”状态（未校准的过渡状态）。这种机制确保了在不确定的过渡阶段几乎零误报。 * 在软体夹爪上的应用验证： 将MMF集成到一个软体夹爪上，进行顺序抓取实验，目标物是10根不同曲率（40至100 m⁻¹）的圆柱杆。由于软体抓取过程的形变无法绝对量化，研究采用数据驱动标注策略：使用相邻帧散斑场的皮尔逊相关系数（PCC）来量化光学稳定性，从而定义抓取事件（高PCC区间为锚点状态，动态过渡阶段为未见状态）。训练中引入了“困难负样本挖掘”，将快速混沌形变对应的图像作为负样本，使用交叉熵和负熵的双重损失函数来明确抑制动态过渡期间的误触发。

3. 连续超分辨率跟踪（线感知）： * 问题与策略： 直接对微小形变进行离散分类会因信号相似度高、信噪比低而失效。研究将范式从离散分类转向连续回归，提出了“结构化几何编码”策略。将连续的物理角度映射到一个拓扑连续的二维扇形掩码上：扇骨位置对应校准的锚点状态，扇面代表连续的形变空间。 * 网络与训练： 采用集成卷积块注意力模块（CBAM）的U-Net架构进行散斑到掩码的映射。CBAM通过通道注意力和空间注意力机制自适应地细化特征。损失函数结合了均方误差（确保像素级保真度）和交并比损失（促进全局形状一致性）。在推理时，通过计算预测掩码的质心来回归连续角度，利用数千个像素的统计相关性有效滤除局部预测噪声。 * 性能验证： 在稀疏校准（锚点与未见状态比例AUR = 1:1，训练间隔0.05°，测试间隔0.025°）设置下，系统实现了0.01°的平均绝对误差（MAE），分辨率超越了训练网格固有的0.05°分辨率，证实模型学会了连续的几何流形而非记忆离散状态。即使在更稀疏的校准（AUR = 1:5）下，超分辨率因子（训练间隔与MAE之比）仍稳定在5左右，表明该方法能用更少的数据保持相对精度优势。 * 在仿生灵巧手上的应用验证： 将传感光纤集成到仿生灵巧手食指上，覆盖从完全伸展到最大弯曲的10个离散锚点状态。实验结果表明，在锚点状态上MAE为0.129°（误差主要源于机械抖动），在未校准的连续区间上达到了90.3%的“区间命中率”，证明了该方法在复杂多关节耦合条件下的泛化能力。

4. 直观三维形态重建（面感知）： * 目标与挑战： 针对医疗介入等场景，需在视觉盲区内重建器械的3D形态以提供空间感知。挑战在于从单根光纤的2D散斑中重建3D信息，并避免低分辨率生成导致的几何幻觉（违反物理约束）。 * 数据与系统： 研究集成该系统到一个机器人化柔性解剖器原型上。为给模型提供可靠的物理参考，构建了一个基于双正交视图的视觉校准系统，通过极线几何原理从正交的2D二值图像中恢复精确的3D骨架信息。外部摄像头仅用于离线训练阶段的数据采集和数据库构建，术中感知完全依赖光纤信号。 * 算法框架 - 双视图协同网络与检索增强生成： * 双视图协同网络（DVS-Net）： 尽管输入是单光纤的2D散斑特征，但形态重建需要生成两个正交视角的几何信息。DVS-Net引入了一个潜在跨视图Transformer模块。该模块定义了可学习的视图令牌作为查询向量，从编码器提取的2D散斑特征中检索每个视角特定的几何信息。更重要的是，网络中嵌入了共享的骨架潜在令牌，通过注意力机制迫使网络学习物体在3D空间的内在结构，从而生成初步的粗掩码（128×128像素）。 * 检索增强生成（RAG）工作流： 为解决低分辨率生成问题并确保物理合理性，研究引入了RAG策略。DVS-Net生成的粗掩码不作为最终输出，而是作为检索索引。系统提取该掩码的主成分分析（PCA）特征向量，在预建的包含高分辨率真实物理样本（1024×1024）的形态先验数据库中进行k近邻搜索。通过加权投票机制融合检索到的前K个最相似样本，生成最终的精修掩码，进而重建高精度3D骨架。此策略将无约束的生成任务转化为受物理定律严格约束的样本检索任务。 * 异常值拒绝机制： 为确保安全，系统定义了检索匹配分数（预测掩码与最佳匹配数据库样本的重叠比例）作为置信度度量。当重叠度低于50%时，系统判定当前预测已偏离有效的物理流形，并主动拒绝该帧，不提供错误的导航提示。

三、 主要研究结果

1. 离散状态确认性能卓越： 在刚性旋转平台测试中，即使在极端锚点与未见状态比例（AUR = 1:8）下，系统对锚点状态的分类准确率达到98.7%，对未见状态的召回率和精确率均超过99%。在软体夹抓取实验中，系统对所有10个曲率类别均保持了高且一致的性能（准确率、精确率、召回率均>0.95），时间序列分析显示其置信度输出与物理稳定状态高度同步，能有效抑制动态运动期间的误触发，并在长时间重复机械应力下保持稳定。
2. 连续跟踪实现超分辨率： 几何编码策略成功突破了物理分辨率的限制。在AUR=1:1的稀疏校准下，系统实现了0.01°的MAE和高于0.99的R²值，超分辨率因子达到5。误差累积分布显示，在0.025°容差窗口内，系统平均准确率达到96.1%。该方法仅用一半的校准数据，就获得了比密集校准分类模型（83%）更高的可靠性。在仿生灵巧手上的验证进一步证明了该策略对复杂、非线性形变的适应性。
3. 三维重建精度高且物理一致： RAG策略显著提升了三维重建的保真度。在三个不同运动平面的测试中，该策略将平均交并比（IoU）提升了约12%至18%，在最具挑战性的数据集上从0.691提升至0.871，在总计10,107帧的综合测试集上最终平均IoU达到0.931。可视化结果显示，检索增强后的掩码边界平滑，与真实形态对齐度高，生成的3D骨架空间连续。异常值拒绝机制成功识别并过滤了0.5%的低置信度数据，增强了系统在安全关键应用中的鲁棒性。
4. 系统具备实时性潜力： 补充材料中的实时性能分析表明，经过优化，系统的端到端推理延迟可以满足术中闭环控制和数字孪生的实时性要求。

四、 研究结论与价值

本研究提出并验证了一种基于极简单端多模光纤和深度学习解码的通用感知方法。与依赖堆叠离散传感器的传统策略不同，该方法将复杂性从物理集成转移到了神经解码上。研究不仅为软体机器人提供了一种通用、可扩展且兼容介入场景的形状反馈解决方案，更将系统从简单的定量传感提升到了场景自适应的感知水平。

其科学价值在于：1) 物理层面：通过单端反射式MMF架构，解决了传统光学传感在软体机器人集成中的硬件复杂性和拓扑可行性困境，实现了极简、高兼容性的传感载体。2) 信息层面：将混沌光学散斑场视为可编码的高维数据流，通过可重构的神经解码器（置信门控、几何编码、视图约束、检索增强等），将单一物理信道解析为针对异构任务定制的多种感知模式，实现了从“点”、“线”到“面”的多维感知能力。这证明了通过创新的计算策略，单一的物理载体足以支持智能体所需的复杂本体感知。

其应用价值显著：为下一代具备数字孪生能力的软体机器人提供了通用的感知基础，特别是在医疗介入（如血管手术机器人）、精密操作（仿生灵巧手）和可靠交互（软体夹爪）等领域展现出巨大潜力。该方法为实现软体机器人的闭环认知控制迈出了关键一步。

五、 研究亮点

1. 硬件创新： 提出了单端反射式多模光纤传感架构，物理上消除了对远端环路和复杂解调设备的依赖，实现了高度集成和微创植入能力。
2. 范式创新： 提出了“感知能力与硬件解耦”的核心思想。通过可重构的神经解码器，使单一硬件接口能够灵活切换感知模式，适应从离散事件确认到连续形貌重建的多样化需求。
3. 算法创新： 针对不同任务设计了专门的解码策略：置信度门控网络确保离散决策的可靠性；结构化几何编码策略实现连续超分辨率跟踪；结合双视图协同与检索增强生成的框架，实现了高精度、物理自洽的3D形态重建，并引入了安全机制。
4. 验证全面： 在三个异构的软体机器人平台（软体夹爪、仿生灵巧手、介入式手术机器人原型）上进行了系统性的实证验证，涵盖了从简单到复杂、从实验室到近似临床场景的多种任务，充分证明了方法的通用性和鲁棒性。

六、 未来展望与延伸价值

文章在讨论部分指出了系统从实验室原型走向实际应用面临的优化机遇和未来方向： 1. 物理鲁棒性提升： 针对散斑对环境扰动敏感的问题，提出了基于在线学习和迁移学习的解决方案，未来有望通过提取和迁移通用物理先验，以最小数据开销克服系统漂移和环境影响。 2. 算法一致性演进： 展望下一代解码器将从离散的任务特定网络，演变为单一的场景自适应感知系统，通过融合多输出模态形成连贯的认知流，模仿生物神经系统。 3. 深度硬件集成： 提及片上光学神经网络和柔性光子学融合等路径，可将整个解调系统压缩至毫米尺度，并构建光电智能皮肤，实现骨骼本体感知与局部触觉反馈的分布式协同。 4. 超越单模态感知： MMF本身是成像的自然载体，意味着单根光纤可集成感知与视觉功能。同时，利用光纤的光谱传输特性，系统可扩展到诊疗一体化，监测组织微环境或传输高能激光进行消融，形成感知、诊断和治疗的闭环。这使其有望成为下一代智能微创手术机器人的核心枢纽。

这项工作不仅通过计算重构挖掘了标准光纤的感知潜力，更建立了一种通用的、高性价比的策略来解决软体机器人中的感知失配问题。这种融合光子物理与计算智能的闭环神经系统，为具备数字孪生能力的下一代具身智能系统提供了坚实的感知基础。