Modélisation, analyse et exécution de graphes audio dans les systèmes interactifs multimédia.
La soutenance sera en anglais devant le jury composé de :
Florent Jacquemard (directeur de thèse)
Jean-Louis Giavitto (co-encadrant)
Pierre Jouvelot (rapporteur)
Myriam Desainte-Catherine (rapporteuse)
Alain Girault
Christoph Kirsch
Yann Orlarey
Dumitru Potop-Butucaru
Résumé :
Les Systèmes Interactifs Multimédia (SMI) sont utilisés en concert pour des spectacles interactifs, qui mêlent en temps réel instruments acoustiques, instruments électroniques, données issues de divers capteurs (gestes, interface midi, etc) et le contrôle de différents medias (vidéo, lumière, etc).
Cette thèse présente un modèle formel de graphe audio, via un système de types et une sémantique dénotationnelle, avec des flux de données bufferisés datés multipériodiques qui permettent de représenter avec plus ou moins de précisions l'entrelacement du contrôle (par exemple un oscillateur basse fréquence, des vitesses issues d’un accéléromètre) et des traitements audio. Une extension audio d’Antescofo, un SMI qui fait office de suiveur de partition et qui comporte un langage synchrone temporisé dédié, a motivé le développement de ce modèle. Cette extension permet de connecter des effets Faust et des effets natifs, à la volée, de façon sure. L’approche a été validée sur une pièce de musique mixte et un exemple d'interaction audio et vidéo.
Enfin, cette thèse propose des optimisations hors-ligne à partir du réééchantillonnage automatique de parties du graphe audio à exécuter. Un modèle de qualité et de temps d'exécution dans le graphe a été défini. Son étude expérimentale a été réalisée grâce à un SMI prototype à partir de la génération automatique de graphes audio, ce qui a permis aussi de caractériser des stratégies de rééchantillonnage proposés pour le cas en ligne en temps réel.