Perceptual and acoustic characterization of movements evoked by sounds for synthesis control

Authors: Merer A.
Publication Date: June 2011 (PhD thesis, Aix-Marseille University, 2011)

Abstract

An important issue within sound synthesis, is to propose intuitive control strategies that are accessible to most potential users. Among fundamental sound attributes, the ones linked to motion are almost unexplored and thus cannot be easily controlled. This Ph.D. concerns the perception of time varying characteristics of monophonic sounds, which leads to the notion of motion evoked by sounds and the conception of intuitive control strategies for such motions. To address those questions, we developed several experiments based on categorization tasks and evaluations through drawings using a parameterized graphical interface. In order to help listeners focus on intrinsic sound attributes, we mainly used so-called “abstract” sounds for which the physical sound source is not easily recognizable. The results of those experiments enabled us to identify attributes that characterize evoked motion from a perceptual point of view, such as shape, direction and size of the trajectory. Those dimensions were further validated in an experimental protocol using sound synthesis. This work opens many perspectives, in particular within virtual reality, sound design and musical domains. The proposed methodology aimed at being sufficiently generic to be transposed to other perceptual attributes such as emotions and quality.

Résumé

“Caractérisation acoustique et perceptive du mouvement évoqué par les sons pour le contrôle de la synthèse”

Un des grands enjeux actuels dans le domaine de la synthèse sonore consiste à proposer des stratégies de contrôle intuitif accessible à un grand nombre d’utilisateurs. Parmi les attributs fondamentaux du son, ceux qui sont liés au mouvement restent encore largement inexplorés et, de fait, difficilement contrôlables. Cette thèse s’intéresse à la perception des caractéristiques des sons monophoniques qui varient au cours du temps et qui sont à l’origine de la notion perceptive de ”mouvement évoqué”, ainsi qu’à la mise au point d’une stratégie de contrôle intuitif. Pour cela, nous avons mis au point une série d’expériences basées sur des protocoles de catégorisation et d’évaluation sonore par le biais de dessins via une interface graphique paramétrée. Afin de favoriser l’écoute sur les attributs intrinsèques du son, nous avons privilégié l’utilisation de sons dits ”abstraits” pour lesquels la source physique n’est pas facilement identifiable. Les résultats de ces expériences nous ont permis de définir un ensemble de dimensions perceptives importantes pour la caractérisation du mouvement évoqué, telles que la forme de la trajectoire, l’orientation ou bien la taille. Ces dimensions ont été par la suite validées grâce à un protocole expérimental exploitant la synthèse sonore. Le travail réalisé ouvre de nombreuses perspectives, notamment dans les domaines de la réalité virtuelle, du ”design sonore” et de la musique. La méthodologie proposée vise à être suffisamment générale pour être transposable à l’étude d’autres attributs perceptifs liés au ressenti (émotions, qualité …).