这篇文档发表于《自然·通讯》（Nature Communications），由来自清华大学精密仪器系的毛倩、廖子健、袁金峰和朱蓉（通讯作者）共同完成。文章报告了一项关于用于灵巧家政服务的多模态触觉与视觉融合感知的原创性研究。
在机器人日益融入我们日常生活的背景下，赋予机器人类似人类的感知能力是机器人学领域长期以来的追求。尽管机器人视觉技术已相对成熟，但触觉感知及其与视觉的融合仍是提高机器人交互能力的关键。当前技术仍面临多感官整合与融合、快速响应能力和高灵敏度感知等方面的巨大挑战。特别是，对于家政等复杂场景，机器人需要稳定抓取易碎或湿滑物体、识别材质形状各异的日常物品，这都要求触觉传感器具备多模态感知能力，并实现与视觉的无缝高效融合。本研究的核心目标正是开发一种新型的多模态柔性触觉传感器，并构建一套触觉-视觉融合的机器人架构，以解决上述挑战，最终实现机器人在复杂家庭环境中的灵巧操作任务，如桌面清洁。
研究详细流程如下：
多模态柔性触觉传感器的设计与制造：研究首先提出并制造了一种基于统一热传感原理的柔性触觉传感器。该传感器由顶层传感层、底层传感层、中间的PDMS层和多孔材料构成。核心传感元件是沉积在柔性聚酰亚胺基底上的两个同心铂薄膜热敏电阻。内部“热膜”（hot film）电阻较低，作为加热和热传感单元；外部“冷膜”（cold film）电阻较高，作为局部温度传感器。这种设计利用热传导原理，通过测量热膜的热量耗散变化来感知不同的触觉属性。其中，底层传感层通过多孔材料的压热（piezo-thermic）效应感知接触压力；顶层传感层则通过与物体接触时的热传导变化，来感知物体的热导率、纹理（通过接触-滑动过程中的微观特征信号）以及至关重要的滑动。滑动检测的原理是：当物体在传感器表面滑动时，热膜会移动到物体上相对较冷的区域，导致热传导瞬间变化，从而被检测到。制造过程涉及柔性印刷电路板技术、光刻、磁控溅射沉积金属薄膜以及聚对二甲苯封装等微纳加工工艺。
传感器性能标定与表征：研究人员对传感器的各项性能进行了系统性的标定和测试。压力标定使用机械位移台和力传感器，显示传感器具有20N的宽测量范围、0.01N的低检测限和2.4%的低滞后性。温度响应在控温烘箱中测试。滑动检测性能通过让不同材料以不同速度在传感器表面滑行来评估。结果表明，该传感器的滑动检测具有超高的灵敏度（最低检测限达0.05 mm/s）和超快的响应时间（4 ms）。通过信号处理，可以从顶层传感信号中分别提取宏观特征（用于判断滑动状态和速度）和微观特征（通过快速傅里叶变换分析其基频，可反映表面纹理周期，用于纹理识别）。
织物识别应用验证：为了展示传感器在材质识别方面的能力，研究选取了10种不同的织物（如聚酯氨纶、尼龙、牛仔布等），让传感器在其表面滑动。通过提取滑动信号中的宏观特征（与热导率相关）和微观特征（与纹理相关），并输入到一个装袋树分类器中，成功实现了对这10种织物的识别，总准确率达到94.3%。这验证了传感器通过热导率和纹理感知进行材质识别的有效性。
触觉-视觉融合机器人架构的构建：针对单一感知模态的局限（如视觉易受光照、遮挡和相似形状干扰；触觉缺乏远距离定位和全局引导能力），研究提出了一种层次化的触觉-视觉融合机器人架构。该架构分为四个层级：信号层（包括双目深度相机和触觉传感器）、感知层（将原始信号转化为物体位置、类别、温度、压力、纹理、滑动等认知）、决策层（基于感知制定抓取、识别等策略）和系统层（整合所有层级并控制机械臂、灵巧手、自动导引车等执行器）。这一架构为多模态信息在数据、特征和决策层面的融合提供了通用框架。
稳定抓取策略的开发与验证：基于上述架构，研究提出了一种触觉-视觉融合抓取策略。首先，视觉提供物体的轮廓、大小和深度信息，以确定抓取位置和姿态。抓取开始时，机械手先以较小的力抓取物体。同时，触觉传感器实时监测滑动。一旦检测到滑动，系统通过反馈控制立即增加抓握力，直至滑动停止。这一策略确保了使用最小、最安全的抓握力实现稳定抓取，尤其适用于易碎或湿滑物体。为验证其有效性，研究展示了机械手抓取一个纸杯并逐渐向其中倒水的实验。在有滑动反馈控制的情况下，机械手能感知到加水导致的重量增加和滑动风险，并动态调整抓握力，最终稳定抓握重量增加约15倍的纸杯且未使其变形。而在无反馈控制的对比实验中，纸杯在加水后滑落。这证明了超灵敏、超快速的滑动检测对于实现精细、可靠的机器人操作至关重要。
物体识别策略的开发与验证：研究进一步提出了一种级联式的触觉-视觉融合识别策略，以克服单一视觉识别在日常物品（如揉皱的纸、纸巾、塑料袋）上的不足。该策略首先利用YOLOv3视觉模型根据形状、大小等特征对物体进行粗分类（如球状、瓶状、杯状、无定形等）。然后，对于同一视觉类别中难以区分的物体（如无定形类别中的塑料、纸、织物），利用触觉传感器感知的热导率、压力和温度信息，通过一个浅层神经网络进行细分识别。对于织物，可进一步根据其热导率和纹理特征，利用装袋树分类器细分为更具体的类型（如羊毛、牛仔布等）。对于杯状物体，触觉不仅能判断内部是否有液体（通过抓取时的重量变化感知），还能通过热导率和温度来评估液体成分。该策略对10种日常物品（包括空杯、装有冷水、热水、酒精的杯子等）的识别准确率达到96.5%，显著高于仅用视觉（59%）或仅用触觉（92%）的识别率。
机器人桌面清洁任务集成演示：最后，研究将上述所有组件和策略集成到一个完整的机器人系统中，并成功演示了自主桌面清洁任务。机器人首先利用视觉扫描桌面定位物品，然后移动到物品附近。接着，运用融合抓取策略稳定抓取物品，同时利用融合识别策略识别物品类别。最后，根据识别结果将物品分类放入不同的回收箱中。对于装有液体的杯子，机器人能够通过触觉感知液体存在，并将其倒入水槽，再将空杯回收。这个演示验证了所提出的多模态触觉传感器和触觉-视觉融合架构在复杂、真实生活场景中的可行性和优越性。
主要研究结果如下： * 在传感器层面，成功研发出一种集压力（0.01N-20N）、温度、热导率、纹理和滑动感知于一体的柔性触觉传感器，其滑动检测性能（0.05 mm/s， 4 ms）达到领先水平。 * 通过织物识别实验，证明了该传感器利用热导率和纹理信息进行材质分类的有效性，准确率高达94.3%。 * 提出的触觉-视觉融合抓取策略，通过实时滑动反馈控制，实现了对纸杯等易变形物体的动态、最小力稳定抓取，展示了其在精细操作中的关键作用。 * 提出的级联式触觉-视觉融合识别策略，将日常物品的识别准确率提升至96.5%，远超单一模态，解决了视觉对相似形状物体识别率低的难题。 * 最终的集成演示——自主桌面清洁任务——成功地将物体定位、稳定抓取、精确识别和分类整理等一系列复杂行为串联起来，证明了整个系统的综合能力。
这些结果逻辑连贯，层层递进：高性能传感器的开发为后续的抓取和识别提供了硬件基础；基于此传感器的织物识别验证了其多模态感知能力；触觉-视觉融合架构为整合信息提供了框架；在此框架下开发的抓取和识别策略解决了机器人操作中的具体核心难题；最终的集成演示则是所有这些技术和策略在复杂任务中的成功应用和验证，共同支撑了研究的最终结论。
结论与价值：本研究成功开发了一种基于热传感的多模态柔性触觉传感器，并构建了一个完整的触觉-视觉融合机器人系统。其科学价值在于提出了一种新颖、高效的多模态感知集成方案，并通过层次化融合架构解决了多源异构传感信息整合的难题。在应用价值上，该系统显著提升了机器人在非结构化家庭环境中的感知和操作能力，使其能够完成抓取易碎品、识别复杂日常物品、进行多物品分类整理等灵巧的家政任务，展示了智能服务机器人在替代人力、辅助生活方面的巨大潜力。该工作为未来开发更智能、更灵巧的服务机器人提供了重要的技术路径和原型系统。
研究亮点： 1. 传感器创新：开发了一种基于统一热传感原理的多模态柔性触觉传感器，以一种简洁的机制同时实现了压力、温度、热导率、纹理和滑动五种感知功能，特别是其滑动检测的超高灵敏度和超快响应时间处于领先水平。 2. 融合架构创新：提出并实现了一个从信号层到系统层的层次化触觉-视觉融合机器人架构，系统地解决了多模态信息从底层采集到高层决策的贯通问题，具有良好的通用性和可扩展性。 3. 策略创新：提出了基于实时滑动反馈的精细抓取控制策略和级联式触觉-视觉融合识别策略，针对性地解决了机器人操作中稳定抓握和精确识别两大核心挑战，并通过严谨的实验验证了其显著优于单一模态的性能。 4. 系统集成与演示：将传感器、算法、执行器集成为一个完整的机器人系统，并在贴近真实应用的桌面清洁任务中进行了成功演示，从实验室概念验证走向了复杂的实际任务验证，完整地展示了技术的实用价值。
其他有价值内容：研究还详细阐述了传感器信号（宏观/微观特征）的提取与处理方法、手眼标定流程、浅层神经网络和装袋树分类器的具体应用，以及实验数据的采集与分析流程，为其他研究者复现和借鉴该工作提供了充足的技术细节。