Réseaux Antagonistes Génératifs pour la synthèse et le contrôle des sons de batterie
Antoine Lavault, Ingénieur de recherche au sein d'Apeira Technologies, a effectué une thèse CIFRE intitulée "Réseaux Antagonistes Génératifs pour la synthèse et le contrôle des sons de batterie" sous la direction d'Axel Roebel, Responsable de l'équipe Analyse et synthèse des sons du laboratoire STMS (UMR 9912 - Ircam - Sorbonne Université - CNRS - Ministère de la Culture).
Il soutiendra sa thèse à l'Ircam en anglais le 8 décembre 2023 à 14h30. Il sera aussi possible de le suivre en direct sur la chaîne Youtube de l'Ircam : https://youtube.com/live/JaFBLmW51jU
Jury :
- Prof. Philippe Depalle - McGill University (Canada) - Rapporteur
- Prof. Vesa Välimäki - Aalto University (Finlande) - Rapporteur
- Prof. Slim Essid - LTCI - Télécom Paris - Institut Polytechnique de Paris - Examinateur
- Dr. Sølvi Ystad - Laboratoire Prism, Université Aix-Marseille - Examinateur
- Dr. Stefan Lattner - Sony Computer Science Laboratories, Paris - Examinateur
- Dr. Axel Roebel - Directeur de recherche (HDR) - Ircam, STMS Lab - Directeur de Thèse
Résumé :
Les synthétiseurs audio sont des systèmes électroniques capables de générer des sons artificiels sous un ensemble de paramètres dépendants de leur architecture. Quand bien même de multiples évolutions ont transformé les synthétiseurs, de simples curiosités sonores dans les années 60 et précédentes, à des instruments principaux dans les productions musicales modernes, deux grands défis restent à relever : le développement d’un système de synthèse répondant à des paramètres cohérents avec leur perception par un humain et la conception d’une méthode de synthèse universelle, capable de modéliser n’importe quelle source dans le cadre d'un processus artistique.
Cette thèse étudie l’utilisation et la valorisation des réseaux antagonistes génératifs (Generative Adversarial Networks, abrégé en GAN) pour construire un système répondant aux deux problèmes exposés précédemment. L’objectif principal est ainsi de proposer un synthétiseur neuronal capable de générer des sons de batteries réalistes et contrôlable par un ensemble de paramètres de timbres prédéfinis, ainsi que de proposer un contrôle de la vélocité de la synthèse.
La première étape dans le projet a été de proposer une approche basée sur les GAN pour générer des sons de batteries réalistes. A cette méthode de synthèse neuronale, nous avons ajouté des capacités de contrôle du timbre en explorant une voie différente des solutions existantes : l’utilisation de descripteurs différentiables. Pour donner des garanties expérimentales à notre travail, nous avons réalisé des expériences d’évaluation à la fois via des métriques objectives, basées sur les statistiques, mais aussi des évaluations subjectives et psychophysiques sur la qualité perçue et la perception des erreurs de contrôle.
Pour proposer un synthétiseur utilisable pour des performances musicales, nous avons ajouté un contrôle de la dynamique de jeu, grâce à un nouveau jeu de données composé de sons de batteries, dans le but avoué de créer une base exhaustive des sons accessibles dans l’immense majorité des conditions rencontrées dans le contexte de la production musicale. De ce jeu de données, nous présentons des résultats expérimentaux liés au contrôle de la dynamique, un des aspects phares de la performance musicale.
