Axel Roebel
Biographie
Axel Roebel est responsable de l'équipe Analyse et synthèse des sons (AS) à l'IRCAM (STMS), où il occupe le grade de Directeur de Recherche depuis 2017.
Il est diplômé de l'Université de Hanovre en génie électrique (1990) et obtient son doctorat en informatique à l'Université technique de Berlin en 1993. En 1994, il rejoint le Centre national de recherche allemand pour les technologies de l'information (GMD-First) à Berlin où il poursuit ses recherches sur l'utilisation de reseaux de neurones artificiels pour la modélisation adaptative de signaux générés par des systèmes dynamiques non linéaires. En 1996, il devient professeur adjoint pour le traitement numérique du signal au département des Sciences de la communication de l'Université Technique de Berlin. En 2000, il obtient une bourse de recherche au CCRMA (Université de Standford) où il débute une enquête sur la modélisation sinusoïdale adaptative.
Arrivé à l'IRCAM en 2000 au sein de l'équipe Analyse/Synthèse, Axel Roebel y développe des algorithmes de pointe pour l'analyse et la transformation de la parole et de la musique. Il est l'auteur de nombreuses bibliothèques logicielles issues de ses recherches, telles que SuperVP, un moteur d'analyse et de synthèse devenu une référence dans le milieu audio professionnel. Nommé responsable de l'équipe en 2011, il obtient son habilitation à diriger des recherches (HDR) de Sorbonne Université en 2013, puis est promu au grade de Directeur de Recherche en 2017.
Ses recherches actuelles se concentrent sur le développement de techniques d'apprentissage profond pour le traitement de la musique et de la voix. Cela inclut notamment le vocodeur neuronal, l'exploration de la représentation et de la manipulation du signal dans des espaces latents, ainsi que l'étude des stratégies de démêlage (disentanglemen
Sujets de recherche
Traitement de la voix
- analyse de la voix (F0, segmentation voisée non-voisée, impulsion glottique) ;
- synthese du chant ;
- transformation de la voix - (vocodeur de phase preservant la forme d'onde, modèle source et filtre etendu (PaN), vocodeur neuronal) ;
- séparation de la voix chanté ;
- traitement de la voix par des méthodes d'apprentissage profond ;
- vocodeur neuronal.
Musique
- transformation de haute qualité par moyen de vocodeur de phase,
- modèles sinusoidaux des signaux utilisant des algorithmes specialisé pour l'analyse et la representation de signaux non-stationaire,
- modèles structurés et descripteurs des signaux (fundamental frequency, spectral envelope, ...)
- decomposition des signaux
- estimation de la fréquence fondamentale dans des signaux polyphonique
Activité de development
- Multi-band Excited WaveNet Neual Vocoder (MBExWN)
- ISiS: logiciel pour la synthèse du chant.
- as_pysrc: module python pour le traitement du signal,
- Traitement du signal avec des réseaux profonds en Tensorflow
- SuperVP: un logiciel de vocodeur à phase étendue permettant des transformations de haute qualité des signaux musicaux et vocaux, et mettant en œuvre de nouvelles techniques d'estimation et de transformation de l'enveloppe spectrale. SuperVP est une bibliothèque multi-plateforme disponible sous la forme d'une application en ligne de commande (SuperVP), qui est utilisée dans AudioSculpt et OpenMusic, ainsi que sous la forme d'un module de transformation de signaux en temps réel, qui est utilisé dans Max/MSP et SuperVP-TRaX.
- VoiceForger: transfromation de la voix avec controle de haute niveau basé sur SuperVP.
- Pm2: bibliothèsque pour l'analyse et la synthèse des signaux utilisant des modèles sinusoidaux avancées
- MatMTL : a matlab compatible c++ template library
- LibFFT : bibliothèque pour le calcule de la transformation de Fourier permettant d'homogeniser l'utilisatio de differente bibliotheque existant sur differents plateformes
Curriculum Vitae
University Degrees
| 2013 | : | HDR (Habilitation) Computer Science, University of Pierre and Mairie Curie, Paris VI,France. |
| 1990-1993 | : | Dr.-Ing. Computer Science, Technical University of Berlin, Germany |
| 1983-1990 | : | Dipl.-Ing. Electrical Engineering, University of Hanover, Germany |
WORK
| 01.2011- | : | Team Leader, Analysis Synthesis Team, IRCAM/STMS, Senior Research Scientist (Directeur de Recherche) since 2017. |
| 01.2008-12.2011 | : | Adjoint Team Leader, Analysis Synthesis team IRCAM |
| 10.2000-12.2007 | : | Researcher and Developer, Analysis-Synthesis Team IRCAM |
| 04.2006-07.2006 | : | Edgar Varese Guest Professor, Electronic Studio, Technical University of Berlin |
| 04.2000-09.2000 | : | Invited researcher, Center for Computer Research in Music and Acoustics (CCRMA), Stanford University, USA |
| 01.1996-09.2000 | : | Assistant Professor, Communication Science, Technical University of Berlin |
| 08.1994-12.1995 | : | PostDoc, GMD FIRST, Berlin. |
Projects
| 2025-2029 | : | CAP AI-MADE, Collaborative acceleration program in AI within the PostGenAI@Paris cluster of excellence (France 2030 investment program). |
| 2023-2027 | : | ANR project EVA, Explicit Voice Attributes. |
| 2023-2025 | : | Project DeTOX, Lutte contre les vidéos hyper-truquées de personnalités françaises. |
| 2023-2026 | : | ANR project BRUEL, ElaBoRation d’Une méthodologie d’EvaLuation des systèmes d’identification par la voix. |
| 2023-2026 | : | ANR project ExoVoices, Virtual Story Telling for Kids: Expressive and Cognitive Aspects of Voice Synthesis. |
| 2020-2024 | : | H2020 project AI4Media, Deep learning for media production. |
| 2020-2024 | : | ANR project ARS, Analysis and tRansformation of Singing style. |
| 2017-2022 | : | H2020/ERC project IRiMaS, Interactive Research in Music as Sound. Conseil and collaboration on signal processing methods for music analysis. |
| 2018-2021 | : | ANR Project TheVoice, Voice creation for media content production. Supervision of a PhD thesis on deep learning-based voice conversion. |
| 2014-2017 | : | ANR Project Chanter, Real-time controlled digital singing. Coordination of WP2 on text-to-chant synthesis |
| 2012-2015 | : | ANR Project Physis, Physically informed and semantically controllable interactive sound synthesis. Coordination of WP3 on low-level sound representation |
| 2011-2015 | : | FP7-ICT-2011 Project 3DTVS, 3DTV Content Search. Coordination of WP4 3D Audio & Multi-Modal Content Analysis and Description. |
| 2010-2013 | : | ANR Project Sample Orchestrator II Hybrid Sound Processing and Interactive Arrangement for New Generation Samplers. Coordination of WP2 Structured Instrument Models and Signal Transformations |
| 2000-2000 | : | DFG Project Ref RO2277/1-1 : Adaptive additive synthesis of non-stationary sounds. Research scholarship at CCRMA |
PhD Students
Directed or Co-directed
| 2023- | Diego Torres, Neural Conversion of Voice Attributes. (co-direction : Nicolas Obin) | |
| 2023- | Simon Rouard, Control and Adaptation of Deep Learning Models of Music Generation. | |
| 2023- | Mathilde Abrassart, Voice Identity Conversion with DNN. (co-direction : Nicolas Obin) | |
| 2023- | Théodor Lemerle, Expressive Speech Synthesis. (co-direction : Nicolas Obin) | |
| 2023- | Maximino Linares, Musical instrument audio synthesis via physics-informed neural networks. (co-direction : Thomas Hélie) | |
| 2021-2024 | Lenny Renault, Deep learning-based generation of high-quality music from symbolic music representation. | |
| 2019-2023 | Frederic Bous, Voice Synthesis and Transformation with DNN. | |
| 2019-2023 | Yann Teytaut, Speech and Singing Alignment and Style analysis with DNN | |
| 2019- | Antoine Lavault, Drum synthesis with DNN. | |
| 2019-2023 | Clement Le Moine Veillon, Expressive speech transformation with DNN. | |
| 2016-2019 | Hugo Caracalla, Sound texture synthesis from summary statistics, Sorbonne University, 2019 | |
| 2016-2019 | Céline Jacques, Machine learning methods for drum transcription (in French), Sorbonne University, 2019 | |
| 2014-2017 | Luc Ardaillon, Synthesis and expressive transformation of singing voice, UPMC, 2017 | |
| 2012-2015 | Wei-Hsiang Liao, Modelling and transformation of sound textures and environmental sounds, UPMC, 2015. (co-direction : X. Rodet, IRCAM, et A.Su, NCKU Taiwan) | |
| 2011-2015 | Stefan Huber, High-quality voice conversion by modelling and transformation of extended voice characteristics, UPMC 2015, (co-direction : Xavier Rodet) | |
| 2012-2015 | Henrik Hahn, Expressive sampling synthesis: Learning extended Source-Filter models from Instrument sound databases for expressive sample manipulations, UPMC 2015. (co-direction : X. Rodet) |
Supervised
| 2009-2012 | Marco Liuni, Automatic adaptation of sound analysis and synthesis, UPMC, 2012, PhD. Directeurs de thèse X. Rodet and M.Romito) | |
| 2006-2010 | Fernando Villavicencio, High-quality voice conversion, UPMC 2010. (Directeur de thèse X. Rodet) | |
| 2007-2010 | Gilles Degottex, Glottal source and vocal-tract separation, UPMC 2010. (Directeur de thèse X. Rodet) | |
| 2003-2008 | Chunghsin Yeh, Multiple fundamental frequency estimation of polyphonic recordings, UPMC 2008. (Directeur de thèse X. Rodet) | |
PhD/HDR Jury
| 2025 | Louis Barhmann (PhD), Acoustics-aware hybrid deep neural dereverberation. (Rapporteur et examinateur) | |
| 2024 | Leonardo Fierro (PhD), Audio Decomposition for Time Stretching. (Rapporteur) | |
| 2024 | Morgan Buisson (PhD), Deep Learning Methods for Music Structure Analysis: Addressing Data Scarcity and Ambiguity. (Président du jury) | |
| 2023 |
Gaspar Rochette (PhD), Time-Series Generation by Connecting Scales with Phase and Random Features, and Applications to Audio. (Examinateur) |
|
| 2022 | Ajinkya Kulkarni (PhD), Expressivity transfer in deep learning based text-to-speech synthesis. (Examinateur) | |
| 2022 | Merlijn Blaauw (PhD), Modeling Timbre for Neural Singing Synthesis. (Rapporteur et examinateur) | |
| 2022 | Grégoire Locqueville (PhD), Voks: A vocal instrument Family Based on Syllabic Sequencing of Vocal Samples. (Examinateur) | |
| 2022 | Javier Nistal (PhD), Exploring Generative Adversarial Networks for Controllable Musical Audio Synthesis (Examinateur) | |
| 2020 | Muhammad Huzaifah (PhD), Directed Audio Texture Synthesis With Deep Learning (Rapporteur et examinateur) | |
| 2020 | Alexandre Defossez (PhD), Optimization of fast deep learning models for audio analysis and synthesis. (Rapporteur et examinateur) | |
| 2019 | Alexey Ozerov (HDR), Contributions in audio modeling for solving inverse problems: Source separation, compression, and inpainting, (Rapporteur et examinateur) | |
| 2019 | Alice Cohen-Hadria (PhD), Estimation de Descriptions musicales et sonore par apprentissage profond, (Examinateur) | |
| 2019 | Clément Laroche (PhD), Apprentissage de dictionnaire et décomposition orthogonal pour la séparation de sources harmoniques/percussives, PhD, (Examinateur) | |
| 2017 | Benjamin Cohen-Lhyver (PhD), Modulation de mouvements de tête pour l'analyse multimodale d'un envirnonnement inconnu, PhD, (Examinateur) | |
| 2013 | Ricard Marxer (PhD), Audio source separation for music in low-latency and high-latency scenarios, (Rapporteur et examinateur) | |
| 2013 | Saso Musevic (PhD), Non-stationary sinusoidal analysis, (Rapporteur et examinateur) | |
| 2013 | Alexis Moinet, (PhD) Slowdio: Audio time-scaling for slow motion sports videos, PhD, (Examinateur) |