Le projet Dynamiques créatives de l’interaction improvisée porte sur la constitution, l’adaptation et la mise en œuvre effective de modèles performants d’écoute artificielle, d’apprentissage, d’interaction et de création automatique de contenus musicaux pour permettre la constitution d’avatars musicaux numériques, autonomes, créatifs, capables de s’intégrer de façon interactive et artistiquement crédible dans des dispositifs humains variés tels que la scène vivante, la (post-) production, la pédagogie, ou de contribuer à terme aux compétences perceptives et communicatives de systèmes cyber-physiques.
Description des travaux/Objectifs
Le projet met en avant l’interaction improvisée, à la fois comme modèle anthropologique et cognitif de l’action et de la décision, comme schéma de découverte et d’apprentissage non supervisé, et comme outil discursif pour l’échange humain – artefact numérique, dans une perspective de modélisation du style et de l’interaction.
L’objectif est de constituer des agents créatifs autonomes par apprentissage direct résultant d’une exposition au jeu vivant (live) de musiciens humains improvisant, en créant une boucle de rétroaction stylistique par l’exposition simultanée de l’humain aux productions improvisées des artefacts numériques eux-mêmes, donc à partir d’une situation de communication humain-artefact évoluant dans une dynamique complexe. Un apprentissage hors-ligne sur des archives peut aussi être anticipé pour « colorer » stylistiquement l’individualité numérique des agents ou situer l’expérience dans un genre (jazz, classique, pop etc.). La situation de jeu « live » peut-être étendue à des applications inédites comme l’interaction d’utilisateurs de compétences variées avec des archives audiovisuelles ressuscitées dynamiquement dans scénarios créatifs ou pédagogiques de co-improvisation, ainsi que dans le cadre général des nouvelles formes narratives à l’œuvre dans les médias numériques interactifs/génératifs et la réalité virtuelle.
Le but est aussi bien de constituer une connaissance procédurale de la musique par cette interaction que de susciter une riche expérience instantanée communicative humain-numérique, susceptible de renvoyer une satisfaction esthétique à l’utilisateur, d’enrichir sa production sonore et musicale, de « dialoguer » avec lui, de l’imiter ou le contredire, et, en général, de stimuler et dynamiser l’expérience de jeu collectif. Cette interaction humain-artefact sera étendue à une interaction artefact-artefact dans des configurations riches (plusieurs humains, plusieurs artefacts numériques en réseau). Au fur et à mesure de l’expérience, se formera une individualité musicale numérique autonome capable d’intervenir de manière crédible dans des situations d’interaction collective.
Une entité créative dans un contexte audio-musical subsume ainsi une collection d’agents concurrents, contributifs et compétitifs, capables d’apprentissage interactif, qui prennent en charge des tâches d’écoute artificielle, de découverte de structures temporelles à court et long terme, de modélisation du style, de génération de séquences symboliques, de rendu audio temps réel, mais aussi de visualisation et d’IHM.
Référence projet : ANR-14-CE24-0002-01.
