Réalité augmentée et apprentissage artificiel
Les applications de réalité augmentée auditive reçoivent un intérêt croissant dans différents domaines applicatifs comme la création artistique, la médiation culturelle, la communication ou le divertissement. L’audition joue un rôle majeur dans la sensation d’immersion de l’utilisateur et la qualité d’expérience ressentie. Intégrer des événements sonores virtuels préenregistrés ou générés automatiquement dans l’environnement réel de l’utilisateur peut procurer une sensation interactive attrayante et peut être exploitée par exemple pour les jeux vidéo, les audio-guides ou de nouvelles formes de dramatiques radio. L’enjeu majeur des applications de réalité augmentée auditive réside dans la capacité à intégrer ces événements sonores sans hiatus perceptif, c’est-à-dire avec un rendu spatial s’adaptant en permanence aux conditions acoustiques de l’environnement réel, par exemple en fonction du mouvement des sources ou lors de la déambulation à travers différents espaces.
L’objectif du projet HAIKUS est l’exploitation conjointe de méthodes d’apprentissage artificiel (AA) et de traitement du signal audio afin de résoudre les problèmes acoustiques rencontrés dans le cadre des applications de réalité augmentée. Les méthodes d’AA sont notamment appliquées pour l’identification automatique du canal acoustique entre les sources et l’auditeur. L’intégration sans hiatus perceptif des sons virtuels dans l’environnement réel nécessite l’estimation des caractéristiques acoustiques de la salle ou du site de sorte à adapter automatiquement le traitement de réverbération appliqué aux sources virtuelles. L’enjeu est alors l’estimation en aveugle des paramètres acoustiques (temps de réverbération, rapport son direct / son réverbéré) ou des caractéristiques architecturales de la salle (volume et forme de la salle, absorption des parois) à partir de la simple observation des signaux audio réverbérés émanant des sources réelles présentes dans la salle. L’adhésion de l’utilisateur à la scène auditive augmentée repose sur une évolution des indices acoustiques réaliste et congruente avec son déplacement dans la scène et le mouvement des sources virtuelles. Ceci nécessite l’inférence de règles plausibles de modification des paramètres de spatialisation ou la mise en œuvre de techniques d’interpolation de réponses impulsionnelles de salle en fonction des mouvements relatifs des sources et de l’auditeur.
Les scènes sonores virtuelles interactives sont typiquement rendues en mode binaural sur casque d’écoute. Il est établi qu’une restitution binaurale convaincante requiert l’usage d’HRTFs individuelles qui devraient être idéalement mesurées pour chaque utilisateur en chambre anéchoïque avec des signaux parfaitement calibrés. On se propose d’estimer en aveugle les HRTFs du participant à partir de l’observation des signaux binauraux captés dans les environnements quotidiens et de manière non supervisée (sources quelconques et en mouvement).
