通过声音传递远程社交触觉——触觉交互的声学化及其情感表达

2025-05-09 Fri
学术背景触觉是人类最早发展的感觉之一，对身心健康至关重要。然而，在虚拟通信日益普及的今天，远程交流中缺乏触觉互动可能导致焦虑、孤独感等心理问题。以往研究表明，触觉能有效传递情感（如抚摸传递爱意，拍打传递愤怒），但其机制尚未通过跨模态（如听觉）实现远程传递。
本研究结合社交触觉（social touch）和运动声学化（movement sonification）领域的前沿成果，提出“音频触觉（audio-touch）”技术，旨在解决以下问题：

1. 触觉交互的物理特征（如力度、速度）能否通过声音准确传递？

2. 触觉背后的社会情感意图（如愤怒、同情）能否通过声学化被识别？

3. 交互表面的材质（皮肤vs.塑料）是否影响听觉感知？
论文来源作者：Alexandra de Lagarde（Sorbonne Université）、Catherine Pelachaud（CNRS）、Louise P. Kirsch（Université Paris Cité）、Malika Auvray（Sorbonne Université）

期刊：*PNAS*（2025年5月6日，卷122期19）

DOI: 10.1073/pnas.2407614122

研究流程与结果1. 实验设计研究包含4项在线实验，共招募264名参与者，通过耳机播放声学化触觉刺激（audio-touch stimuli），测试其对触觉手势、情感意图及表面材质的识别能力。
实验1：触觉手势的声学识别刺激：录制4种皮肤接触手势（摩擦/rubbing、抚摸/stroking、轻拍/tapping、击打/hitting）的振动信号，使用压电传感器（piezoelectric transducer）采集前臂振动（图1a）。

流程：

无背景提示：参与者自由描述声音对应的动作，58.6%的回答与触觉相关（如“揉搓声”）。

触觉背景提示：告知声音源于皮肤接触后，手势识别准确率提升至74%（如摩擦识别率85.7%）。

强制分类任务：给定四选一选项，准确率进一步达93.5%（击打）至86.3%（抚摸）。

关键结果：声音的节奏和频谱特征（图1b）与触觉手势的物理特性（如速度、压力）直接相关。

实验2：触觉情感的声学传递刺激：录制6种情感意图（愤怒、关注、恐惧、快乐、爱、同情）的触觉声学化样本。

结果：

自由描述：愤怒（暴力击打声）多被描述为“紧张”，而爱（轻柔抚摸）被联想为“舒缓”。

强制分类：快乐（轻快拍打）识别率最高（66%），爱与同情因手势相似易混淆（52% vs. 37%）。

情感效价评分：积极情感（如同情）评分显著高于消极情感（如愤怒）（p < 0.001），与触觉效价一致。

实验3-4：表面材质的影响刺激扩展：新增皮肤与塑料表面的对比（3种皮肤类型 vs. 3种塑料厚度）。

发现：

手势识别：皮肤表面的抚摸（63.9% vs. 塑料36.1%）和击打（89.7% vs. 81%）识别更优（p < 0.004）。

情感识别：同情在皮肤表面识别率更高（64.6% vs. 塑料29.5%），且效价评分更高（p < 0.001）。

材质分类：塑料声学特征更易识别（准确率93.4% vs. 皮肤55.8%）。

结论与价值科学意义跨模态感知：首次证明触觉的社交信息（手势、情感、材质）可通过声学化被远程传递，为多感官整合理论提供新证据。

技术方法论：开发的“音频触觉”技术无需复杂设备，仅需振动信号采集与声学映射，为虚拟触觉交互提供低成本方案。

应用前景虚拟现实：结合视听信号增强虚拟代理（virtual agents）的社交真实性。

心理健康：缓解社交隔离中的触觉剥夺（touch deprivation），如通过远程“声学拥抱”传递安慰。

研究亮点创新方法：通过皮肤振动直接声学化，避免人工合成声效的非自然性。

生态效度：采用真实人际触觉原型（如Hertenstein定义的愤怒击打），非实验室简化动作。

跨学科融合：整合心理学（情感编码）、工程学（信号处理）与神经科学（多感官交互）。

其他发现局限性：未涵盖复杂触觉行为（如拥抱），未来需结合空气麦克风（air microphone）扩展信号采集范围。

扩展方向：机器学习可进一步解析声学特征（如频谱峰值）与情感类别的映射关系。