Pavé la voie pour le toucher social à distance : Sonification des interactions tactiles et de leurs émotions sous-jacentes

Intelligence artificielle Sciences de l'information Génie biologique Sciences de la vie Médecine Psychologie clinique
toucher social sonification reconnaissance des émotions interaction à distance perception augmentée

Contexte académique

Le toucher est l’un des premiers sens à se développer chez l’homme et est essentiel pour la santé physique et mentale. Cependant, avec la popularisation croissante de la communication virtuelle, le manque d’interactions tactiles dans les échanges à distance peut entraîner des problèmes psychologiques tels que l’anxiété et la solitude. Des études antérieures ont montré que le toucher peut transmettre efficacement des émotions (par exemple, une caresse transmet de l’amour, une tape exprime de la colère), mais son mécanisme n’a pas encore été implémenté de manière transmodale (par exemple, via l’audition) pour une transmission à distance.

Cette étude combine les avancées des domaines du toucher social (social touch) et de la sonification des mouvements (movement sonification) pour proposer une technologie “audio-tactile (audio-touch)”, visant à résoudre les questions suivantes :
1. Les caractéristiques physiques des interactions tactiles (par exemple, la force, la vitesse) peuvent-elles être transmises avec précision par le son ?
2. Les intentions socio-émotionnelles sous-jacentes au toucher (par exemple, la colère, la sympathie) peuvent-elles être reconnues via la sonification ?
3. La nature de la surface d’interaction (peau vs. plastique) influence-t-elle la perception auditive ?

Source de l’article

  • Auteurs : Alexandra de Lagarde (Sorbonne Université), Catherine Pelachaud (CNRS), Louise P. Kirsch (Université Paris Cité), Malika Auvray (Sorbonne Université)
  • Revue : PNAS (6 mai 2025, volume 122, numéro 19)
  • DOI : 10.1073/pnas.2407614122

Méthodologie et résultats

1. Conception expérimentale

L’étude comprend 4 expériences en ligne, recrutant 264 participants au total. Des stimuli tactiles sonifiés (audio-touch stimuli) ont été diffusés via des écouteurs pour évaluer la capacité de reconnaissance des gestes tactiles, des intentions émotionnelles et des matériaux de surface.

Expérience 1 : Reconnaissance auditive des gestes tactiles

  • Stimuli : Enregistrement des signaux vibratoires de 4 gestes de contact cutané (frottement/rubbing, caresse/stroking, tapotement/tapping, coup/hitting) à l’aide d’un capteur piézoélectrique (piezoelectric transducer) placé sur l’avant-bras (Figure 1a).
  • Procédure :
    • Sans contexte : Les participants décrivent librement les sons, avec 58,6 % des réponses liées au toucher (par exemple, “bruit de frottement”).
    • Contexte tactile : Après avoir été informés que les sons provenaient de contacts cutanés, la précision de reconnaissance des gestes atteint 74 % (par exemple, 85,7 % pour le frottement).
    • Tâche de catégorisation forcée : Avec des options à choix multiples, la précision atteint 93,5 % (coup) à 86,3 % (caresse).
  • Résultat clé : Les caractéristiques rythmiques et spectrales des sons (Figure 1b) sont directement corrélées aux propriétés physiques des gestes tactiles (par exemple, vitesse, pression).

Expérience 2 : Transmission auditive des émotions tactiles

  • Stimuli : Enregistrement de 6 intentions émotionnelles (colère, attention, peur, joie, amour, sympathie) via des sons tactiles.
  • Résultats :
    • Description libre : La colère (son de coup violent) est souvent décrite comme “tendu”, tandis que l’amour (caresse douce) est associé à “apaisant”.
    • Catégorisation forcée : La joie (tapotement léger) est la mieux reconnue (66 %), mais l’amour et la sympathie sont souvent confondus (52 % vs. 37 %) en raison de gestes similaires.
    • Évaluation de la valence : Les émotions positives (par exemple, sympathie) sont notées significativement plus haut que les négatives (par exemple, colère) (p < 0,001), cohérent avec la valence tactile.

Expériences 3-4 : Influence de la surface

  • Stimuli étendus : Ajout de comparaisons entre peau et plastique (3 types de peau vs. 3 épaisseurs de plastique).
  • Découvertes :
    • Reconnaissance des gestes : La caresse (63,9 % vs. 36,1 %) et le coup (89,7 % vs. 81 %) sont mieux reconnus sur peau (p < 0,004).
    • Reconnaissance des émotions : La sympathie est mieux identifiée sur peau (64,6 % vs. 29,5 %) et reçoit des scores de valence plus élevés (p < 0,001).
    • Classification des matériaux : Les caractéristiques acoustiques du plastique sont plus facilement identifiables (93,4 % vs. 55,8 % pour la peau).

Conclusions et valeur

Signification scientifique

  1. Perception transmodale : Première preuve que les informations sociales du toucher (gestes, émotions, matériaux) peuvent être transmises à distance via la sonification, offrant de nouvelles preuves pour les théories d’intégration multisensorielle.
  2. Méthodologie technique : La technologie “audio-tactile” ne nécessite pas d’équipement complexe, seulement la capture de signaux vibratoires et leur cartographie sonore, offrant une solution à faible coût pour les interactions tactiles virtuelles.

Applications potentielles

  • Réalité virtuelle : Combiner avec des signaux audiovisuels pour renforcer le réalisme social des agents virtuels (virtual agents).
  • Santé mentale : Atténuer la privation tactile (touch deprivation) lors de l’isolement social, par exemple via des “câlins sonores” à distance.

Points forts de l’étude

  1. Innovation méthodologique : La sonification directe des vibrations cutanées évite les effets sonores synthétiques non naturels.
  2. Validité écologique : Utilisation de prototypes de toucher interpersonnel réel (par exemple, le coup de colère défini par Hertenstein), et non de gestes simplifiés en laboratoire.
  3. Interdisciplinarité : Intégration de la psychologie (codage émotionnel), de l’ingénierie (traitement du signal) et des neurosciences (interactions multisensorielles).

Autres découvertes

  • Limites : Ne couvre pas les comportements tactiles complexes (par exemple, les câlins). Des extensions futures nécessiteront l’utilisation de microphones à air (air microphone) pour élargir la capture des signaux.
  • Perspectives : L’apprentissage automatique pourrait affiner l’analyse des relations entre caractéristiques acoustiques (par exemple, pics spectraux) et catégories émotionnelles.