《通过个性化皮肤集成无线面部界面编码多模态情感信息》学术报告

一、研究团队与发表信息
本研究由韩国蔚山国家科学技术研究院（UNIST）材料科学与工程学院的Jin Pyo Lee、Hanyeok Jang等团队与新加坡南洋理工大学（NTU）合作完成，通讯作者为Pooi See Lee和Jiyun Kim。研究成果于2024年发表在《Nature Communications》期刊（DOI: 10.1038/s41467-023-44673-2）。

二、学术背景与研究目标
情感识别（emotion recognition）是改善人机交互（HMI）的核心技术之一，但传统方法（如面部图像分析、语音识别）易受环境干扰，且单模态数据（single-modal data）难以捕捉情感的复杂性。为此，研究团队开发了一种多模态情感识别系统——个性化皮肤集成面部界面（PSIFI，Personalized Skin-integrated Facial Interface），结合面部应变（facial strain）与语音振动（vocal vibration）数据，首次实现自供电、可拉伸、透明的双向摩擦电传感器（bidirectional triboelectric sensor），并通过机器学习实现实时情感分类。

三、研究流程与方法
1. PSIFI系统设计与制造
- 个性化贴合：基于3D面部重建技术，扫描用户面部轮廓并制作定制化透明PDMS（聚二甲基硅氧烷）面膜，集成柔性电极（PEDOT:PSS涂层PDMS）与介电层（纳米结构PDMS）。
- 双向摩擦电传感器开发：
- 应变传感器单元（strain sensing unit）：通过纳米表面工程（ICP-RIE蚀刻）增加接触面积，检测面部微应变（灵敏度：弯曲5 mV、拉伸3 mV，响应时间<20 ms）。
- 振动传感器单元（vocal sensing unit）：设计穿孔PDMS介电层（开放比10%优化），增强声振信号捕捉（灵敏度5.78 V/g，为无孔设计的2.8倍）。
- 无线数据传输电路：集成厘米级信号发射器与主接收板，支持实时信号传输。

1. 数据采集与信号处理

   • 多模态信号同步采集：从眉间、眼周、鼻翼、唇部、下巴及声带6个代表区域获取信号（图1d）。
     
   • 信号转换：语音信号通过快速傅里叶变换（FFT, Fast Fourier Transform）从时域转为频域特征。
     

2. 机器学习分类模型

   • 数据增强与迁移学习（transfer learning）：
     
     • 预训练阶段：用户重复20次表情/语音动作，生成100组信号（70组训练，30组测试），通过抖动（jittering）、缩放（scaling）、时间扭曲（time-warping）等方法8倍扩充数据集。
       
     • 个性化适配：新用户仅需重复10次动作即可通过迁移学习快速适配模型。
       
   • 卷积神经网络（CNN）架构：1D-CNN处理面部应变信号，2D-CNN分析语音频谱，最终分类准确率达93.3%（戴口罩时为80.0%）。
     

3. VR应用验证

   • 数字礼宾服务（digital concierge）：在Unity虚拟环境中部署PSIFI，实现基于情感的交互（如根据用户“悲伤”情绪推荐音乐、依据演讲理解度弹出解释窗口）。
     

四、主要研究结果
1. 传感器性能：
- 应变传感器在40%应变下经3000次循环无衰减，覆盖人类面部最大应变需求（<30%）。
- 振动传感器在100–250 Hz（成人语音基频范围）内响应稳定，信噪比显著优于传统麦克风（图3d）。

1. 分类效果：多模态数据联合训练的CNN模型显著优于单模态（面部或语音单独输入）的准确率（补充图8）。

2. 应用验证：VR场景中，系统可实时识别用户意图并提供个性化服务（图5c），如智能家居情绪调节、办公场景辅助学习等。

五、研究结论与价值
1. 科学价值：
- 提出首个结合摩擦电传感与迁移学习的多模态情感识别框架，解决了环境干扰与个体差异问题。
- 双向应变传感器设计为可穿戴电子提供了新范式。

1. 应用价值：
   
   • 在医疗（自闭症情绪监测）、VR（沉浸式交互）、智能家居等领域具有直接应用潜力。
     
   • 透明、自供电特性支持长期佩戴，突破传统设备的体积与功耗限制。
     

六、研究亮点
1. 技术创新：
- 自供电摩擦电传感器实现高灵敏度双向应变检测（首次报道）。
- 半固化工艺（semi-curing method）制备透明电极，兼顾导电性与延展性（补充图2）。

1. 方法论创新：
   
   • 结合数据增强与小样本迁移学习，显著降低新用户校准成本。
     

七、其他价值
- 开源数据与代码（GitHub: matter-intel-lab/psifi）推动后续研究。
- 研究获韩国国家研究基金会（NRF）及新加坡南洋理工大学支持，凸显跨国合作在柔性电子领域的领先性。