L’esquisse est une étape fondamentale des activités de design. Dans le design visuel, le système « papier + crayon » est toujours le principal outil utilisé pour produire, en peu de temps, une grande variété de concepts et d’idées. Cela étant, dans le design produit et le design media, le comportement sonore des objets considérés revêt un caractère essentiel, dans la mesure où le son peut véhiculer des propriétés d’esthétique et d’homogénéité dans un contexte d’usage interactif. La question qui se pose est alors de savoir comment esquisser la dimension sonore d’un objet, dans les phases préliminaires de sa conception. Les sons non verbaux – mieux que la parole – sont naturellement et spontanément utilisés dans la vie de tous les jours pour décrire et imiter des événements sonores ; ils sont, en outre, souvent associés à des gestes manuels expressifs afin de les qualifier, de les compléter ou bien de les mettre en valeur. Le projet SkAT-vG a pour but de permettre aux designers d’utiliser directement leur voix et leurs mains pour esquisser les caractéristiques sonores d’un objet, facilitant ainsi l’exploitation des possibilités fonctionnelles et esthétiques du son. Le cœur de ce système réside dans un dispositif capable d’interpréter les intentions des utilisateurs exprimées au moyen d’imitations vocales et de gestes, de sélectionner des modules de synthèses sonores appropriés, et de rendre ainsi possible le partage et le raffinement des idées de manière itérative. Pour atteindre ces objectifs, le projet SkAT-vG s’appuie sur un consortium pluridisciplinaire de partenaires possédant des expertises complémentaires : analyse des mécanismes articulatoires de la voix, perception et cognition sonores, apprentissage automatique, design interactif, et développement d’applications audio. Les principales tâches du projet comprennent des études de cas pour comprendre comment les imitations vocales et les gestes sont naturellement utilisés dans la communication sur le son, l’analyse de pratiques expertes auprès de designers sonores professionnels, des études expérimentales et fondamentales portant sur l’identification des sons via la production d’imitations vocales ou de gestes, l’analyse des gestes, l’apprentissage automatique et le développement d’outils d’esquisses sonores.
Le projet vise plusieurs objectifs scientifiques :
- étendre les connaissances existantes dans le domaine de la perception et la production d’imitations vocales et de gestes expressifs ;
- développer des algorithmes de classification automatique d’imitations vocales et gestuelles, fondés sur l’imitation elle-même, en combinant l’analyse du signal sonore avec des mécanismes physiologiques de la production vocale ;
- explorer l’efficacité des esquisses sonores et gestuelles dans le domaine du design sonore interactif, en exploitant la classification automatique à des fins de sélection et paramétrisation de modèles de synthèse sonore ;
- développer des applications de création et de traitement sonores intuitives, utilisant la voix et les gestes.
