Sortie de résidence artistique en recherche : Aaron EINBOND présente son travail réalisé à l'IRCAM ce mercredi 14 septembre 2022 à 12H en studio 5
Ce séminaire intitulé : Apprentissage automatique de la synthèse sonore spatiale, basée sur le corpus de PRESTIDIGITATION, pour percussion et électronique en 3D, est le résultat d'une résidence à l'Ircam avec les équipes ISMM et EAC, en lien avec une résidence de recherch artistique MusAi "Music and Artifical Intelligence: Building Critical Interdisciplinay Studies" soutenue par le Conseil européen de la recherche.
Vous pouvez suivre cet atelier en direct sur la chaîne YouTube de l'Ircam : https://youtu.be/j0kywabT0WQ
Résumé :
Aaron Einbond, compositeur-chercheur
en collaboration avec Maxime Echardour, percussion, Ensemble L'Instant Donné,
Thibaut Carpentier, EAC, et Diemo Schwarz, ISMM
L'apprentissage automatique (ML) de données spatiales provenant d'instruments acoustiques peut-il être exploité pour (ré)incarner la présence spatiale de l'instrument et de l’instrumentiste, et immerger l'auditeur dans une expérience 3D ?
Nous présentons une esquisse d'une nouvelle composition : Prestidigitation, pour percussion et électronique 3D : un ensemble de petits instruments « faits maison » est amplifié et resynthétisé à l'aide de microphones et de haut-parleurs sphériques situant le public au milieu d'une performance de réalité virtuelle auditive. Le percussionniste est accompagné par l’IKO, un réseau compact de haut-parleurs, qui exploite des données acoustiques provenant de deux sources : d’une part l’amplification de la scène 3D captée par un microphone Eigenmike EM32, et d’autre part une base de données de diagrammes de rayonnement instrumental 3D mesurés à la Technische Universität Berlin. Nous nous appuyons sur le projet de composition et de recherche Cosmologies pour piano et électronique 3D, qui, en 2020, a été le premier à lier des approches d'analyse de descripteurs audio et de synthèse par corpus (CBS) avec l'apprentissage automatique (ML) et la spatialisation du son en utilisant l'ambisonie d'ordre supérieur (HOA). Alors que Cosmologies était diffusée à travers un dôme de haut-parleurs ambisonique, nous renversons maintenant la situation en plaçant l'IKO au centre de l'espace de performance. À l'aide des logiciels Spat5 et CataRT-MuBu de l'IRCAM, nous appliquons des modèles appris dans le domaine HOA à un corpus d'échantillons, en fonction de leurs descripteurs timbraux. Ensuite, un algorithme d'improvisation basé sur un Oracle Audio organise temporellement les échantillons spatialisés.
Les deux approches offrent une perspective critique sur les outils ML existants qui négligent l'écoute spatiale. Elles représentent également un nouveau paradigme de spatialisation qui diffère radicalement des haut-parleurs virtuels ou des faisceaux focalisés : plutôt que des sources ponctuelles, les sons sont resynthétisés avec un rayonnement 3D dynamique, offrant une polyphonie spatiale potentiellement illimitée. En définitive, ces deux approches offrent des possibilités prometteuses pour l’apprentissage et l’augmentation de gestes spatiaux.
