REACHing IN!

  • Research

Le projet REACH explore les conditions de co-créativité entre musiciens et intelligence artificielle dans un contexte d’interaction vivante, notamment pour les musiques improvisées. Il rassemble autour de l’Ircam des partenaires nationaux et internationaux tels que l’UCSD, Stanford, l’université de Tokyo et l’EHESS et produit des outils logiciels pour la création et la scène.

 

Ce séminaire présentera les résultats des recherches de manière accessible au public, en abordera les enjeux esthétiques, et philosophiques, et démontrera les outils logiciels co-créatifs issus des travaux. Il fera suite au concert REACHing OUT ! de la veille au Centre Pompidou, dans lequel ces outils auront été mis en œuvre en direct avec la grande improvisatrice Joëlle Léandre et le groupe de rock expérimental Horse Lords.

Programme

REACH: Co-créativité et systèmes cyber-humains musiciens

 

10h-10h30 | Le projet REACH, histoire, résultats, directions pour la co-créativité
avec Gérard Assayag, directeur de recherche Ircam-STMS

L'apprentissage génératif de représentations symboliques à partir de signaux physiques et humains, et la compréhension des stratégies artistiques et sociales de l'improvisation nous aident à mieux comprendre la dynamique de coopération (ou de conflits) inhérente aux réseaux cyber-humains, c’est à dire aux formes de création instantanées et distribuées entre divers type d’agents, humains et machines. REACH vise à comprendre, modéliser et favoriser ces types de co-créativité apparaissant comme formes émergentes lorsque s’installent des boucles d’apprentissage et de rétroactions croisées, et des dynamiques complexes de combinaisons de contenus.

 

10h30-11h15 | Modélisation et performance des savoirs dans REACH
avec Marc Chemillier, directeur de recherche à l’EHESS

L’étude de la co-création entre hommes et machines est confrontée au fait que les hommes sont des animaux sociaux. Cette sociabilité produit des normes culturelles que les machines doivent pouvoir partager. Concrètement, cela implique l’existence de seuils d’acceptabilité propres à différents communautés humaines que les productions des machines doivent pouvoir franchir pour être acceptées au regard de ces normes. D’un autre côté, de telles normes sont toujours dans une logique de dépassement. Au sein de REACH, différents contexte culturels sont étudiés, des tests d’acceptabilité sont effectués et des enquêtes anthropologiques sont menées pour analyser les dynamiques d’établissement de normes et de leur dépassement.

 

11h15-12h | Modèles génératifs pour REACH : IA et Machine Learning
avec Shlomo Dubnov, professeur à l’université de Californie à San Diego (UCSD)

Les modèles génératifs ont révolutionné les applications textuelles, visuelles et vocales utilisant l'IA. Conceptuellement, les progrès décisifs se sont produits lorsque les chercheurs ont réalisé qu'au lieu d'entraîner l'IA à résoudre une tâche spécifique, la machine devait apprendre les statistiques des données, lui permettant « d'imaginer » ou de tirer au hasard de nouvelles instances à partir de la même source d'informations. Aujourd'hui, les contrefaçons profondes et les chats textuels produisent des contenus qui peuvent être proches ou impossibles à distinguer des artefacts naturels ou fabriqués par l'homme. Mais est-ce une menace pour la créativité ou une opportunité incroyable ?

 

Dans l'exposé, je présenterai nos recherches sur l'IA générative pour la créativité musicale, avec de nouveaux résultats sur la représentation audio, la modélisation temporelle et le guidage de la génération musicale par du texte ou d'autres médias. L'interaction créative sera considérée comme un problème de communication d'informations et contextualisée dans les cadres Action-Perception et Deep Music Information Dynamics. Les défis créatifs de l'IA générative seront démontrés sur une pièce composée par l'IA à partir du poème de Rilke, en utilisant ChatGPT, une pré-formation langage-musique et Stable Diffusion pour la synthèse musicale.

 

Pause repas

 

14h - 14h40 | Performance, contrôle et instrumentalité dans REACH
avec Mikhail Malt, chercheur à l’Ircam-STMS et Marco Fiorini, doctorant à l’Ircam-STMS

Après une brève présentation du fonctionnement de l’environnement Somax2, nous vous proposerons une réflexion en action des sujets de la performance, du contrôle et de l’instrumentalisé dans le cadre de l’utilisation d’algorithmes d’I.A. en improvisation musicale. Nous questionnerons notamment le cas non idiomatique en musique électronique.


Nous finirons cette présentation avec une application pratique de l’utilisation de Somax2 dans le cas de la ré-création de Komboï de Xenakis par Lorenzo Colombo (percussion) et Marco Fiorini (I.A. interactive Somax2), récemment jouée au Klang Festival à Copenhague.

 

14h40 - 15h20 | REACH, MERCI et la réalité mixte : l’instrument acoustique créatif
avec Adrien Mamou-Mani, PDG de la compagnie Hyvibe et Louis Chouraki, ingénieur de recherche à Hyvibe

Grâce aux projets REACH et MERCI, HyVibe et l'Ircam ont développé un prototype d’instrument acoustique créatif. Après modification et intégration de Somax dans une Raspberry Pi, le Creative Looper est né. Brisant la monotonie d’un looper classique en créant un overdub en perpétuel changement, l’outil produit de nouvelles phrases musicales à partir d’un enregistrement du musicien.

 

Pause café

 

15h50 - 16h25 | Co-présence et incarnation dans les interactions improvisées cyber-humaines
avec Clément Canonne, Pierre Saint-Germier, chercheurs CNRS à l’Ircam-STMS et Marco Fiorini, doctorant à l’Ircam-STMS

Si l'on prend au sérieux les recherches menées en sciences cognitives sous la bannière de l'Embodied Cognition Program les approches strictement logicielles en IA musicale, par opposition aux approches robotiques, semblent souffrir d'une limitation intrinsèque en se coupant des ressources que représente l'incarnation des agents. L'utilisation de techniques d'apprentissage automatique permettant à des agents artificiels d'improviser dans le style d'un corpus défini relance cependant cette question en suggérant la possibilité que certaines propriétés cruciales de l'incarnation soit transmises via le corpus d'apprentissage, s'il est lui-même produit par des agents incarnés. Cette présentation vise d'une part à explorer cette hypothèse d'un point de vue théorique en isolant conceptuellement deux dimensions de l'incarnation des agents musicaux qui sont souvent confondues, et en présentant un protocole permettant de la tester expérimentalement. 

 

16h25-17h | Co-improvisation et réseaux sociaux
avec Yohann Rabearivelo, doctorant à l’EHESS et Ircam-STMS

Depuis sa démocratisation, internet n’a cessé de bouleverser le paysage musical. Les réseaux sociaux ont joué un rôle majeur dans ces transformations et sont devenus de nouveaux lieux importants de la performance musicale. Sur TikTok, la plateforme de création et de partage de contenus audiovisuels courts basés sur un échantillon sonore qui s’est imposée au cours de ces dernières années, de nombreux musiciens communiquent, collaborent et mettent en scène la musique grâce aux différentes fonctionnalités proposées par la plateforme. Dans ce nouveau contexte culturel nous organisons des situations de co-créations musicales entre des musiciens utilisateurs engagés sur la plateforme et le logiciel Djazz, instrument mixte à la fois pensé pour l’improvisation idiomatique et véritable outil anthropologique.

Bios 

Gérard Assayag a fondé et dirige actuellement l'équipe Représentations Musicales de l’IRCAM dans le laboratoire STMS (Sciences et technologies de la musique et du son). Il a dirigé ce laboratoire de 2011 à 2017 et été à ce titre impliqué dans les politiques de recherche nationales et internationales en sciences de la musique et du son. Il a contribué à la création de plusieurs institutions majeures en france  comme le Collegium Musicae et  l'Institut d'intelligence artificielle de Sorbonne Université, ou le Journal of Mathematics and Music et la Society for Mathematics and Computation in Music à l'international.
Il a contribué à définir, par le biais de publications théoriques et de technologies largement diffusées  (OpenMusic, OMax et leurs descendants), le concept d'interaction symbolique pour rendre compte d'un dialogue musical riche et polyvalent humains/machines, jetant ainsi les bases d'une co-créativité symbiotique, visant à modeler les  futures générations de systèmes d’IA interactive.  Ces recherches prennent place dans le projet REACH dont il est le porteur comme récipiendaire du prestigieux ERC advanced Grant de l’European Research Council.
Clément Canonne est chargé de recherche au CNRS et responsable de l’équipe Analyse des pratiques musicales. Une large partie de ses travaux porte sur les pratiques d’improvisation musicale. Il s’intéresse également à la philosophie de la musique et à l’esthétique expérimentale. Ses recherches en cours ont trait aux pratiques ludiques, à la désynchronisation, et à l'écoute musicale.
Musicien, informaticien et anthropologue, Marc Chemillier a étudié le piano jazz (Schola Cantorum, CIM). Il est entré à l'ENS de Fontenay-aux-roses en mathématiques en 1981 et a étudié l'harmonie-contrepoint au CNSM de Paris. Il a fait une thèse de doctorat en collaboration avec l'IRCAM. En ethnomusicologie, il a travaillé sur la harpe des Nzakara de République Centrafricaine (CD Musiques des anciennes cours Bandia en 1995), puis sur la cithare de Madagascar. En 2000, il crée avec les OMax Brothers (Gérard Assayag, Marc Chemillier, Shlomo Dubnov, Georges Bloch) le logiciel d'improvisation OMax. Directeur d'études à l'EHESS de Paris, il publie en 2008 Les Mathématiques naturelles (Odile Jacob) et poursuit ses recherches sur l'improvisation assistée par ordinateur et ses enjeux anthropologiques et sociaux. En 2021, il a publié le livre-CD Artisticiel avec Bernard Lubat et Gérard Assayag.
Louis Chouraki est ingénieur en recherche et développement chez HyVibe. Diplômé de l’Ecole Polytechnique et du master ATIAM, il a rejoint HyVibe en février 2022 afin de développer le prototype d’instrument créatif pour le projet ANR MERCI.
Shlomo Dubnov est chercheur et compositeur en informatique musicale. Il est professeur dans les départements de musique et d'informatique et d'ingénierie, professeur fondateur du Halıcıoğlu Data Science Institute de l'Université de Californie, et est directeur du Center for Research in Entertainment and Learning (CREL) à l'UC San Diego Qualcomm Institut. Il est connu pour ses recherches sur l'improvisation de la machine, la créativité computationnelle et la stylométrie de la musique. Il a également apporté des contributions majeures au domaine de l'audition par ordinateur en inventant la méthode de la music information dynamics et la généralisation de la Spectral flatness.
Marco Fiorini est un musicien et chercheur italien qui se consacre à l'improvisation et aux nouvelles formes d'expression musicale, avec un parcours mixte d'études artistiques et scientifiques. Diplômé en Informatique de l’Université de Bologne et en Musique du Conservatoire de Bologne (guitare et musique électronique), il est actuellement rattaché à l'équipe Représentation Musicales du laboratoire STMS de l'IRCAM, où il mène des résidences artistiques avec la contrebassiste Jöelle Léandre et le percussionniste Lorenzo Colombo. Il participe aux recherches sur le logiciel d'improvisation co-créative Somax2 et approfondira ce sujet dans le cadre d'une thèse de doctorat.
Il a donné un grand nombre de concerts en Europe, oscillant entre l'improvisation libre, la composition spontanée, la performance sonore et l'art sonore. 
Mikhail Malt, avec une double formation scientifique et musicale en ingénierie, composition et direction d’orchestre, débute sa carrière musicale au Brésil comme flûtiste et chef d’orchestre. Il est l’auteur d’une thèse en musicologie, à l’École des hautes études en sciences sociales, sur l’utilisation de modèles mathématiques dans la composition assistée par ordinateur, ainsi que d’une HDR. A été professeur associé à la Sorbonne Paris IV, de 2006 à 2012 et enseignant en informatique musicale au service pédagogique de l’Ircam, Paris-France jusqu’en 2021. Il est actuellement, chercheur dans l’équipe Représentations musicales à l’Ircam, Directeur de recherche associé à l’iReMus-Sorbonne et conférencier à l’Institut d’études bouddhiques à Paris. Il poursuit ses activités de création et de recherche sur la musique générative, les systèmes créatifs, l’épistémologie de la représentation et les différentes stratégies d’écoute.
Adrien Mamou-Mani est PDG et cofondateur de HyVibe. Ancien responsable de la recherche en acoustique instrumentale de l’IRCAM, il est titulaire d’un doctorat en acoustique et mécanique de Sorbonne Université (Paris). Il a été aussi chercheur au musée de la Philharmonie de Paris et à Open University en tant que Newton Fellow de la Royal Society. Ses travaux ont porté principalement sur le contrôle actif de vibration appliqué à la musique et la diffusion sonore. Passionné par l'enseignement, il a été notamment professeur d'acoustique musicale au Conservatoire de Paris (CNSMDP). 
Yohann Rabearivelo est doctorant à l'Ecole des Hautes Études en Sciences Sociales et à l’IRCAM où il est rattaché à l'équipe Représentation Musicales du laboratoire STMS. Il travaille actuellement sur les musiques improvisées à l’ère d’internet et s'intéresse particulièrement aux interactions musicales qu’il organise entre le logiciel d'improvisation Djazz et des musiciens engagés dans les communautés musicales en ligne sur la plateforme TikTok dans le cadre d'une thèse sous la direction de Marc Chemillier et Gérard Assayag. Yohann a étudié la musique et l'ingénierie du son à l'Université Paris-Est Marne La Vallée. Il est ensuite entré à l'EHESS à Paris où il s’intéresse aux musiques dites alternatives et undergrounds ainsi qu'à leur communauté et obtient un Master sur ce sujet sous la direction de Philippe Le Guern.
Pierre Saint-Germier  est chargé de recherche au CNRS affecté au laboratoire Sciences et Technologies de la Musique et du Son (STMS, UMR9912, CNRS / Ircam / Ministère de la Culture / Sorbonne Université). Il travaille à la croisée de la philosophie des sciences et de la philosophie de la musique. Ses recherches se focalisent sur la logique et l’épistémologie des expériences de pensée, la coordination émergente dans l'action collective, et en particulier dans l’improvisation musicale, ainsi que sur les applications de l’intelligence artificielle à la musique.

En poursuivant votre navigation sur ce site, vous acceptez l'utilisation de cookies pour nous permettre de mesurer l'audience, et pour vous permettre de partager du contenu via les boutons de partage de réseaux sociaux. En savoir plus.