Soutenance de thèse de Sarah BONNET (Éq. SOMATOSENSE - Vendredi 6 Février - 13h30 - Amphi Charve.

Il s'agit d'une thèse CIFRE en collaboration avec la startup Haptify (anciennement V.RTU)

La soutenance se déroulera en anglais (scroll down for english version)

Titre : "Shaping vibration into haptic sensations: Exploiting multisensory immersion to enhance remote haptic perception"

Résumé : Depuis notre naissance, nous percevons le monde à travers le toucher, qui est une modalité essentielle à la compréhension et à l’interaction avec notre environnement. Parmi les caractéristiques physiques des interactions tactiles, la perception des vibrations occupe une place centrale. Aujourd'hui, les environnements immersifs connaissent un essor considérable dans de nombreux domaines, comme la rééducation, la formation professionnelle ou le divertissement. Si ces environnements ont déjà fait leurs preuves dans diverses applications, l’absence de retour tactile constitue toutefois une limite majeure à l’immersion et à l’apprentissage, notamment dans les contextes de formation ou de rééducation motrice. L’objectif de cette thèse est de mieux comprendre comment des vibrations appliquées au niveau du poignet peuvent moduler la perception et l’expérience des interactions avec des objets virtuels.

Dans un premier temps, nous avons étudié la perception subjective des stimulations vibrotactiles et leur transmission à la peau, montrant ainsi que la fréquence, l’amplitude, l’accélération et la forme d’onde influencent fortement l’intensité perçue et la transmission. La transmission mécanique des vibrations variait également d'un individu à l'autre. Ces résultats fournissent des bases essentielles pour la conception de protocoles expérimentaux et de dispositifs haptiques portables.
Dans un second temps, nous avons examiné l’impact du retour vibrotactile sur la dextérité manuelle dans un environnement de réalité augmentée, en adaptant le test Box and Block. Les participants ont apprécié le bracelet, soulignant un engagement et une immersion accrus. Si le retour vibrotactile n’a pas directement amélioré les performances, il a néanmoins augmenté l’efficacité des mouvements réalisés, soulignant ainsi l’importance des aspects motivationnels et expérientiels du retour haptique
Un troisième axe de cette recherche s’est intéressé à la capacité du retour vibrotactile à générer des illusions de poids. Les résultats ont montré qu'une gamme de fréquences comprise entre 60 et 100 Hz, correspondant à la sensibilité des mécanorécepteurs cutanés et des fuseaux neuromusculaires, et synchronisée avec des indices visuels de soulèvement d'objet, induisait de manière fiable une illusion crédible de poids en réalité augmentée. Cette découverte souligne la dissociation entre une sensation de poids influencée par l’intensité perçue d’une vibration et la construction d’une véritable illusion perceptive. Elle fournit ainsi des repères essentiels pour le développement d’effets haptiques réalistes en réalité augmentée.
Enfin, deux études ont exploré les mécanismes d’intégration multisensorielle de la perception de la rugosité. Elles ont révélé que les indices haptiques et visuels contribuaient de manière robuste et linéaire à la perception de la rugosité, tandis que les indices auditifs étaient plus variables. La manipulation de la congruence sensorielle a révélé différentes stratégies perceptives et une dominance globale du toucher, mais aussi d'importantes différences interindividuelles : certains participants étaient dominés parl'haptique, d'autres présentaient une intégration équilibrée et peu d'entre eux une dominance visuelle.
Ensemble, ces travaux de thèse démontrent le rôle central et modulable du retour vibrotactile à distance dans la perception et l’interaction en réalité augmentée. Ils ouvrent ainsi la voie à la conception de systèmes haptiques portables, adaptatifs et personnalisés pour diverses applications, telles que la rééducation ou la formation immersive. Cette thèse s'inscrit ainsi dans une démarche de transfert technologique, rapprochant les neurosciences fondamentales et l'ingénierie haptique appliquée, et réaffirmant le rôle central du retour vibrotactile dans la modulation d'expériences immersives riches, crédibles et personnalisées.

Abtract:

From birth, we perceive the world through touch, which is an essential modality for understanding and interacting with our environment. Among the physical characteristics of tactile interactions, vibration perception plays a central role. Today, immersive environments are rapidly expanding in many fields, such as rehabilitation, professional training, and entertainment. Although these environments have already proven effective in various applications, the absence of tactile feedback remains a major limitation to immersion and learning, particularly in training or motor-rehabilitation contexts. The objective of this thesis is to better understand how vibrations applied to the wrist can modulate the perception and experience of interactions with virtual objects.
First, we investigated the subjective perception of vibrotactile stimuli and their transmission through the skin, showing that frequency, amplitude, acceleration, and waveform strongly influence perceived intensity and transmission. Mechanical transmission of vibrations also varied from one individual to another. These results provide essential foundations for designing experimental protocols and wearable haptic devices.
Second, we examined the impact of vibrotactile feedback on manual dexterity in an augmented-reality environment, adapting the Box and Block test. Participants appreciated the wristband, highlighting increased engagement and immersion. Although vibrotactile feedback did not directly improve performance, it increased the efficiency of executed movements, underscoring the importance of motivational and experiential aspects of haptic feedback.
A third research axis explored the ability of vibrotactile feedback to generate weight illusions. The results showed that a frequency range between 60 and 100 Hz, corresponding well to the sensitivity of cutaneous mechanoreceptors and neuromuscular spindles, and synchronized with visual cues of object lifting reliably induced a convincing illusion of weight in augmented reality. This finding highlights the distinction between a sensation of weight influenced by perceived vibration intensity and the construction of a true perceptual illusion. It thus provides essential guidelines for developing realistic haptic effects in augmented reality.
Finally, two studies investigated the multisensory integration mechanisms involved in roughness perception. They revealed that haptic and visual cues contributed robustly and linearly to roughness perception, while auditory cues were more variable. Manipulating sensory congruence uncovered different perceptual strategies and an overall dominance of touch, as well as significant interindividual differences: some participants were dominated by haptics, others showed balanced integration, and a few exhibited visual dominance.
Together, these thesis works demonstrate the central and adaptable role of remote vibrotactile feedback in perception and interaction in augmented reality. They pave the way for designing wearable, adaptive, and personalized haptic systems for various applications such as rehabilitation or immersive training. This thesis is thus part of a technological-transfer perspective, bridging fundamental neuroscience and applied haptic engineering, and reaffirming the central role of vibrotactile feedback in shaping rich, credible, and personalized immersive experiences.