Nicolas Obin

Nicolas OBIN is currently associate professor at the Faculty of Sciences and Engineering of Sorbonne Université and research scientist in the Sound Analysis and Synthesis team at the Science and Technology for Sound and Music laboratory (Ircam, CNRS, Sorbonne Université). I received a PhD. thesis in computer sciences on the modeling of speech prosody and speaking style for text-to-speech synthesis (2011) for which he obtained the best PhD thesis award from La Fondation Des Treilles in 2011. I am deeply passionated about sound, waves, oscillations, vibration as well as the theory of information and communication. Through the years I have developed a strong interest in the behavior and communication between humans, animals, and robots.


My research activities cover audio signal processing, artificial intelligence, machine learning, and statistical modeling of sound signals with specialization on speech processing and human communication. My main area of ​​research is the structured generative modeling of complex human productions such as speech, singing and music with various applications in speech synthesis and transformation, multi-modal virtual agent animation, and humanoid robotics. Lately I initiated activities in the fields of bioacoustics and sound ecology.
As part of my artistic commitment to Ircam, I a actively promoting digital science and technology for arts, culture, and heritage, and collaborated with renowned musicians and artists, such as: Eric Rohmer, Philippe Parreno, Roman Polansky, Leos Carrax, or George Aperghis.


As a specialist in speech technologies, I give talks and interviews for prestigious French schools, institutions, and broadcast media (Collège de France, Ecole Normale Supérieure, Science Po, CNIL, Le Monde, Télérama, TF1, France 5, Arte). As a teacher, I am responsible of the audio signal processing, biometrics, and deep learning courses in the Master of Science Engineering and also co-responsible of the deep learning professional formation delivered by Sorbonne Université, and co-funder of the DeepVoice, Paris annual event on speech technologies and SophIA: the Sorbonne university student association for Artificial Intelligence in collaboration with the Sorbonne Center for Artificial Intelligence (SCAI). 

My full CV is available below in pdf format

CV nicolas obin


Research Activities

My research is at the crossroads of signal processing, stastic modeling, and applied linguistics for the modeling of spoken and singing voice. I am specialized in the natural and expressive transformation and synthesis of the human voice. My research themes cover a broad spectrum of applications and challenges: from artistic creation and the valorization of heritage and culture, to vocal assistants and human-machine interaction, to the computational musicology of popular music and vocal interpretation.

I pilot or participate in national and European research projects in partnership with laboratories of excellence and a wide range of leading industrial partners.

[2017-2021] Projet ANR TheVoice, Voice design for the creative industry : PI. Voice identity conversion with generative adversarial networks

[2015-2016] Projet EMERGENCE Sorbonne Universités ROUTE, Listening robot : PIBinaural localization of sound sources by non-negative tensor factorization.

[2015-2016] Projet FEDER Voice4Games, Speech processing for video-games production : PIAutomatic voice recommendation for assisted voice casting.

Participation to the following projects:  CHANTER (ANR, 2014-2017), Rhapsodie (ANR, 2007-2011), et VIVOS (RIAM, 2005-2008)


Teaching and Responsability Activities

Since 2013, I am a associate professor at the Engineering Department of the Faculty of Sciences of Sorbonne University, in particular in the Bachelor's Degree in Science and Technology and the Master's Degree in Engineering Sciences. My areas of teaching include digital signal processing, information processing, machine learning, programming, coaching, and monitoring of student projects.

[ 2019 - ] Co-responsible for the profesionnal formation IA@SU : Deep Learning by Doing

[ 2018 ]  STMS Lab representative for the IA working group of the Engineering department of Sorbonne University

[ 2017- ] Member of the Scientific Council of the Engineering department of Sorbonne University


Artistic Production

[ 2019 ] "Lullaby experience", par le compositeur Pascal Dusapin, Frankfurter Positionen festival (Frankfurt) et Théâtre 104 (Paris).

[ 2018 ] "Les guerriers de l'ombre", documentaire réalisé par Frédéric Schoendoerffer, Canal+. Anonymisation réaliste de voix d'agents secrets.

[ 2014-2015 ] "Pourquoi j'ai pas mangé mon père",  film de Jamel Debbouze. Recréation de la voix de Louis de Funès par la technologie de conversion d'identité de la voix

[ 2014-2015 ] "Juger Pétain",  films documentaires de Richard Saada, Planète, France 5. Recréation de la voix du maréchal Pétain et de protagonistes de son procès par la technologie de conversion d'identité de la voix

[ 2013 ] "Aliados", opéra composé par Sebastian Rivas, Ircam Manifeste festival.

[ 2012-2013 ] "Marilyn",  film de Philippe Parreno, Fondation Beyeler (2012) et Palais de Tokyo (2013). Recréation de la voix de Marilyn Monroe par la technologie de conversion d'identité de la voix

[ 2011 ] "Luna Park", théâtre musical composé par Georges Aperghis, festival Agora (Paris).

[ 2010 ] "Escort Girl", première partie du cycle de documentaires "L'Europe judiciaire" réalisé par Olivier Ballande, Maha Productions, France Télévision. Anonymisation réaliste de voix de protagonistes impliqués dans des enquêtes judiciaires.

[ 2009 ] "Hypermusic Prologue", opéra du compositeur Hector Parra, festival Agora (Paris).


Communication

Here is a selection of my main public interventions

Conferences

Voix artificielle et sound design : concepts, pratiques, enjeux (avec N. Misdariis, de l'équipe Perception et Design Sonore, Ircam), HyperVoix : enjeux de conception des interfaces conversationnelles, Journée d'étude organisée par la Fing, Le Square, Paris, 15 avril 2019.

AI and creativity: can AI be creative?, Changing IP in Changing Europe, Trilateral Seminar of the French, German and Polish Groups of AIPPI, Paris, France, 05 avril 2019.

La voix à l’ère du numérique et de l'IA, CNIL, Paris, France, 15 février 2019

La voix et l'IA, Parcours Innovateur ignorant, Sciences Po, Paris, France, 19 octobre 2018.

Marilyn: histoire de la recréation de la voix d'une icône, Ecole Normale Supérieure, Paris-Saclay, France, 9 octobre 2018

Les voix du numérique pour le design sonore et la création artistique, Festival Vino Voce, Saint-Emilion, France, 8-10 septembre 2017.

Vox ex-machina. La voix et ses doubles numériques, Collège de France, Paris, France, 6 juin 2017.

Broadcast medias

Les prouesses des assistants vocaux. Dossier Intelligence Artificielle. Ca m'intéresse, février 2019.

Comment fabrique-t-on une voix de synthèse ? La Croix, 22 Janvier 2019.

La voix sacrée, dossier voix et IA, Télérama, 16 Janvier 2019.

Les chanteurs disparus ressuscités par la high-tech, L'express, 21 Décembre 2018.

Des voix de synthèse presque humaines, Pour la Science, Décembre 2016, numéro 470, p. 54-62.

TV and documentaries

A l'Ircam, la salle la plus silencieuse au monde dévoile ses secrets, journal télévisé, 20h,  TF1, 9 septembre 2016.

Donner de la Voix, FutureMag, Arte, 5 décembre 2015.

Petite Histoire de la Synthèse Vocale, France Culture, 12 Août 2014.

On a Volé la Voix d'André Dussolier, Le Monde, 7 Juillet 2014.


Assistants, robots affectifs et réalité virtuelle | Deep Voice, Paris 2021

Comment la simulation des émotions va-t-elle modifier notre rapport affectif aux machines et notre immersion dans un monde social artificiel ? Une table-ronde organisée par le Sorbonne Center for Artificial Intelligence (SCAI) et l'Ircam, animée par Nicolas Obin, chercheur à l'Ircam.


Trucages, deepfake, clonage vocal : en 2020, ne croyez plus vos yeux et vos oreilles

Les Deepfakes c'est un peu la nouvelle génération des Fake News mais en encore moins détectables et en plus dangereux ! Retrouvez à Futurapolis, Nicolas Obin, chercheur à l'Ircam, pour une conférence exceptionnelle autour de ce sujet, et de ses conséquences sur l'usurpation possible de VOTRE identité.


Vox ex-machina

Présentation au Collège de France, 6 juin 2017


Donner de la Voix

FutureMag, Arte, 5 décembre 2015


On a volé la voix d'André Dussolier

Le Monde, 7 juillet 2014

Publications

In link with

En poursuivant votre navigation sur ce site, vous acceptez l'utilisation de cookies pour nous permettre de mesurer l'audience, et pour vous permettre de partager du contenu via les boutons de partage de réseaux sociaux. En savoir plus.