仿生纹理传感器阵列结合早期时间处理实现超快机器人触觉识别

主要作者与发表信息

本研究由Tingyu Wang、Zhiyi Gao、Chengyu Li、Guanbo Min、Kun Xu、En Zhao、Ke Wang以及通讯作者Wei Tang等人共同完成。主要作者分别来自中国科学院北京纳米能源与系统研究所、中国科学院大学纳米科学与技术学院、中国科学院宁波材料技术与工程研究所磁性材料与器件重点实验室以及香港理工大学时装与纺织学院。该研究成果发表于*Materials Science & Engineering R*期刊，文章于2025年5月11日投稿，2025年8月25日修订，2025年8月29日接收，2025年9月3日在线发表，文献号为167 (2026) 101113。

学术背景

快速触觉处理是机器人与周围环境进行交互时最有效、最直接的策略之一。然而，由于传感器灵敏度与反应时间之间存在固有的权衡关系，同时实现快速且准确的触觉识别一直是一个挑战。传统的触觉感知方法通常依赖于在至少一个完整的触觉序列之后分析电阻、电容或电压幅值的变化，以表征相应的物理信息，如法向力、剪切力、形状、硬度和纹理等。这些常规方法往往无法快速捕捉动态触觉特征，为了优化触觉感知精度，传感器通常需要获取并处理完整的接触信号，这不可避免地延长了响应时间，导致其响应速度通常慢于人手的约100毫秒基准，严重制约了其在现实机器交互中的部署。新兴神经科学表明，人手中早期阶段的触觉编码包含了对快速物体识别至关重要的动态信息，而当前的人工系统缺乏这种能力。受此生物学原理启发，已有研究采用离散脉冲序列来模拟感觉神经元处理机制，例如Chen等人利用离散脉冲序列中首个脉冲的时间编码实现了更快速的物体分类，但该方法在预测准确率（52%）和响应时间（约300毫秒）之间存在权衡。脉冲神经网络的离散时间处理特性限制了其对连续、高维触觉动态的建模能力，导致准确率仅获得有限提升。因此，通过传感器结构设计来编码动态触觉信息，激发了对能够实现超快、高精度分类的触觉识别系统的开发需求。本研究的目的是开发一种仿生纹理传感器阵列（textured sensor array, TSA），结合早期时间处理算法，同时实现超快响应特性和高精度触觉识别，以增强机器人在真实环境中的性能。

详细工作流程

本研究的工作流程可分为四个主要步骤：TSA的设计与制备、传感器性能表征、动态触觉过程感知的深度学习模型构建、以及早期触觉过程模型（early tactile process model, ETPM）的提出与系统集成验证。

第一步，TSA的设计与制备。TSA采用类指纹的环形架构，由上层的Ecoflex顶部锥体、下层的化学镀镍浸金（electroless nickel immersion gold, ENIG）底部网格电极和聚酰亚胺（polyimide, PI）基底构成，整体由聚氨酯（polyurethane, PU）胶带完全封装，长度约为8毫米。底部网格电极分为四个方向，每个方向由八个环形电极组成，共计32个通道。顶部锥体采用Ecoflex 00-30A和Ecoflex 00-30B以1:1比例混合后倒入3D打印模具中制备，制备了三种不同高度（0.7毫米、1.1毫米和1.5毫米）的锥体。底部网格电极通过Altium Designer 20软件绘制结构草图，在预清洁的PI基底上经过覆铜、图形转移、感光干膜层压、紫外曝光、蚀刻和表面处理等工艺完成制备。TSA的工作机制是：当顶部锥体在施加压力下发生变形时，与底部网格电极接触，感应产生摩擦电荷，驱动电流流向电极，产生正电压输出；当顶部锥体在压力释放过程中逐渐分离时，产生反向电流，形成负电压输出。这种可变接触诱导了摩擦起电和静电感应的组合效应，产生独特的触觉过程信号组合。数据采集使用自主设计的32通道采集板，具备无线传输功能，支持每通道最高1 kHz的采样率，通过SPI协议实现连续实时信号采集，并通过ESP32通信模块使用UDP协议将数字化的多通道数据无线传输至移动接收端。

第二步，TSA的性能表征。研究者比较了PDMS和Ecoflex两种材料以及0.7毫米、1.1毫米和1.5毫米三种锥体高度的传感器输出特性。结果表明，Ecoflex由于其较低的杨氏模量，具有更大的可变形性，灵敏度达到0.087 V N⁻¹；较高的顶部锥体扩展了测量范围，综合考虑灵敏度和动态范围，选择了1.5毫米的锥体高度。在0.6 N的均匀垂直压力下，顶部锥体均匀变形，与电极建立一致的接触。增加底部网格电极的数量可以在接触过程中产生更明显的信号峰，从而提高传感器的分辨率。研究者进一步考察了不同按压频率（0.25 Hz至2.5 Hz）下的响应特性，发现频率增加会减小信号峰之间的间隔。随着施加压力增加，TSA输出中峰的数量和幅值逐渐上升，这归因于顶部锥体更快的变形导致与底部电极更快速、更频繁的接触事件。温度与湿度测试显示，由于PU薄膜的有效封装，输出幅值受湿度影响极小。耐久性测试证实TSA输出在200,000次连续按压循环后保持稳定，证明了传感器的鲁棒性。此外，通过同批次三个传感器之间的器件间变异性测试，波形模式一致且峰幅值变化小于5%。

第三步，动态触觉过程感知的深度学习模型构建。研究者采用CNN-LSTM架构来捕捉TSA传感器数据的时空动态。模型分为三个模块：预处理模块、特征提取模块和预测模块。在预处理阶段，原始传感器数据使用快速傅里叶变换（fast Fourier transform, FFT）进行滤波，并通过滑动窗口进行分割。分割后的数据被送入特征提取模块，其中带有残差连接的CNN编码瞬时空间特征，这些空间特征与原始信号一起由LSTM模块同时处理，生成丰富的时空特征表示。最后，这些特征被传递给预测模块，用于估计接触力矢量并分类物体属性。数据增强阶段对原始信号进行微分和积分操作，以突出动态过程信息，该增强策略在不引入可测量的计算开销的情况下显著提高了预测精度。实验使用专用的三自由度测试平台，通过线性电机控制探头的水平移动（精度0.01毫米），通过Dynamixel伺服电机调节传感器的滚动角和偏航角（旋转精度0.1°），并使用ATI Mini40三轴力传感器（精度：Fx 0.01 N/Fy 0.01 N/Fz 0.02 N）校准输出。研究者在144种平面角α和投影角β的组合下评估了TSA性能，同时记录32通道TSA输出和校准力传感器的三维力分量（Fx、Fy和Fz）。研究还测量了57个触摸位置（步长0.7毫米）以验证TSA的空间分辨率，代表性空间图显示邻近位置之间的信号可区分（Pearson相关系数r = 0.36），证实了0.7毫米的可用像素尺寸。此外，研究者制作了30个具有不同几何形状（如半球与平板）、不同锐度和不同刚度水平的物体，这些物体由三种不同刚度的材料制成：PLA（最硬）、PDMS（中等硬度）和Ecoflex（最软），每种材料被塑造成不同的形状（锥体和边缘），每种形状有五个锐度等级（30°至150°）。在整个实验过程中，速度和穿透深度保持不变，以考察不同曲率和杨氏模量对TSA信号的影响。训练集使用四个不同传感器采集，测试集和实时测试数据使用全新传感器独立获得，确保训练与测试数据之间无重叠。每个传感器的数据均进行归一化处理，并实施逐设备校准策略，通过非线性最小二乘程序拟合低阶多项式映射并校正时间延迟。

第四步，ETPM的提出与系统集成验证。ETPM集成了特征提取模块、置信停止模块和预测模块。通过优化由γ参数化的早期损失函数，模型在提前性和准确性之间取得平衡。特征提取模块利用CNN-LSTM架构，其输出同时送入置信模块和预测模块。调整早期损失函数中的γ参数旨在平衡置信模块和预测模块的输出，从而细化模型对提前性和准确性的侧重。降低γ倾向于降低准确率同时增加预测误差；经过广泛优化，选择了γ = 0.4以获得最佳性能。在硬件和预处理延迟方面，在1 kHz采样率下，通过SPI和无线通信传输3200字节数据的延迟约为10毫秒，随后计算机接收和解析数据需要额外的10毫秒。预处理步骤（包括积分、微分和归一化操作）的时间复杂度为O(1)，在微秒尺度上引入的延迟可忽略不计。因此，从物理压痕开始到获得预测结果的总时间小于20毫秒。最后，通过将TSA与ETPM集成，开发了早期触觉过程预测系统（early tactile process prediction system, ETPPS），并将其整合到机械臂中进行实时测试。

主要结果

在传感器性能方面，TSA表现出优异的灵敏度和动态范围。Ecoflex顶部锥体（1.5毫米高度）实现了0.087 V N⁻¹的灵敏度。随着底部网格电极数量从2增加到8，接触过程中出现更多明显的信号峰，增强了传感器分辨率。在0.25 Hz至2.5 Hz的频率范围内，TSA输出保持稳定，峰间隔随频率增加而减小。在0.6 N至更高压力范围内，输出峰的数量和幅值逐渐增加。温度与湿度测试表明PU封装有效保护了传感器性能，200,000次循环的耐久性测试证实了传感器的长期稳定性。

在接触力矢量预测方面，使用增强数据训练的CNN-LSTM模型始终优于使用原始数据的模型。单个力分量的平均误差集中在约0.025 N附近，表明高精度。通过提取TSA信号的时间特征（包括峰计数、幅值和峰间隔），将最大接触时的幅值映射到空间热图上，可揭示所施加力的方向和大小。多环几何结构在32个通道上产生连续变化的时空接触特征，从而实现对接触力和角度的连续分辨。

在物体属性分类方面，使用增强数据的模型在不同初始数据长度下均实现了优越的准确率。模型在分类30种不同物体属性（包括柔软度、锐度和形状）时达到了97%的准确率。不同曲率产生独特的触觉信号序列和空间布局，而具有相似曲率但不同刚度的表面则产生不同的脉冲率强度的时间分布。

ETPM在早期触觉感知方面取得了显著成果。在接触力矢量预测中，ETPM在早期阶段（0–100毫秒）比传统CNN-LSTM模型表现出更高的准确率。值得注意的是，仅使用初始19%（48毫秒）的触觉数据，ETPM就达到了0.058 N的平均精度。在物体属性分类中，各类别的预测时间主要集中在数据的前18%（约45毫秒），部分预测甚至在17毫秒（6.8%的数据）时即已出现。在早期阶段，模型实现了92%的分类准确率。与训练于传统三轴校准力数据的模型相比，训练于数字化触觉过程数据的模型不仅准确率提高了25.9%，而且响应时间减少了37%。使用局部可解释模型无关解释（local interpretable model-agnostic explanations, LIME）可视化250个时间步长序列的平均特征重要性，结果表明在第40个时间步附近特征重要性显著增加，与实验观察结果相符。在泛化性测试中，对杯子、织物和人造皮肤等未见过的数据，重新训练的ETPM达到了约90%的准确率。

在系统集成方面，机械臂使用ETPPS实现了89毫秒内的实时物体属性分类，而不使用ETPPS时为291毫秒，性能提升了69%。这一响应时间甚至快于人手的约100毫秒基准。

结论与意义

本研究成功开发了一种仿生纹理传感器阵列，通过顺序排列的圆形网格在触觉交互过程中产生具有增量响应的连续信号。这种动态信号捕获了触觉过程早期阶段的丰富信息，同时实现了超快和精确的感觉解读。结合先进的数据增强和CNN-LSTM框架进行时空特征编码，该方法以0.025 N的平均误差预测矢量力，并在物体属性分类任务中达到97%的准确率。在此基础上开发的ETPM通过引入新型早期损失函数优化了响应时间和分类准确率。仅使用初始19%（48毫秒）的触觉数据，ETPM即可实现平均误差0.051 N的矢量力估计和92%的物体分类准确率。通过将TSA和ETPM集成到机械臂上的实时早期触觉过程预测系统，实现了89毫秒的响应时间，比未使用ETPPS的基线机械臂提高了68.9%。该研究的科学价值在于提供了一种新的范式，通过提取早期触觉信号中的可操作信息进行实时触觉数据处理中的早期时间预测，克服了传统方法中灵敏度与响应时间之间的权衡。其应用价值体现在机器人感知与决策的速度和准确性提升，可应用于协作制造、辅助技术和交互式服务环境等实际场景，使机器人展现出更强的响应速度、可靠性和整体智能。通过利用动态触觉过程早期阶段获取的丰富信息，该策略有望形成一种通用方法，增强机器人在感知和决策方面的能力。

研究亮点

本研究的主要亮点包括：第一，TSA采用类指纹环形架构，在无需外部电源的自供电方式下产生连续的多峰信号，将触觉交互转化为涵盖空间和时间动态的多模态信息，有效保留了早期触觉信息。第二，ETPM通过早期损失函数平衡提前性和准确性，仅使用19%的触觉数据即可实现92%的分类准确率，显著降低了决策延迟。第三，在系统层面，ETPPS集成到机械臂后实现了89毫秒的超快响应时间，比人类手部更快。第四，通过LIME可解释性分析揭示了特征重要性在第40毫秒附近显著增加，为早期触觉信息的生物学相关性提供了计算验证。第五，数据增强策略（微分、积分和旋转增强）在无计算开销增加的情况下显著提高了预测精度。第六，该研究通过传感器结构设计（而非依赖离散脉冲序列）实现了连续触觉动态的编码，克服了脉冲神经网络在建模连续高维触觉动态方面的局限性。