TarsosDSP, a real-time audio processing framework in Java

This paper presents TarsosDSP, a framework for real-time audio analysis and processing. Most libraries and frameworks offer either audio analysis and feature extraction or audio synthesis and processing. TarsosDSP is one of a only a few frameworks that offers both analysis, processing and feature extraction in real-time, a unique feature in the Java ecosystem. The framework contains practical audio processing algorithms, it can be extended easily, and has no external dependencies. Each algorithm is implemented as simple as possible thanks to a straightforward processing pipeline. TarsosDSP's features include a resampling algorithm, onset detectors, a number of pitch estimation algorithms, a time stretch algorithm, a pitch shifting algorithm, and an algorithm to calculate the Constant-Q. The framework also allows simple audio synthesis, some audio effects, and several filters. The Open Source framework is a valuable contribution to the MIR-Community and ideal fit for interactive MIR-applications on Android

Momu: A mobile music toolkit

ABSTRACT The Mobile Music (MoMu) toolkit is a new open-source software development toolkit focusing on musical interaction design for mobile phones. The toolkit, currently implemented for iPhone OS, emphasizes usability and rapid prototyping with the end goal of aiding developers in creating real-time interactive audio applications. Simple and unified access to onboard sensors along with utilities for common tasks found in mobile music development are provided. The toolkit has been deployed and evaluated in the Stanford Mobile Phone Orchestra (MoPhO) and serves as the primary software platform in a new course exploring mobile music

Synthèse de son de papier adaptée au mouvement et à la géométrie de la surface

National audienceNous présentons une méthode pour générer en temps réel un son plausible pour une animation d'un papier virtuel que l'on froisse. Pour cela, nous analysons l'animation géométrique de la surface du papier pour détecter les événements à l'origine de sons puis calculons géométriquement les zones du papier qui vibrent de part la propagation des ondes au travers de la surface. Le son résultant est ensuite synthétisé à partir à la fois d'extraits pré-enregistrés, et d'une synthèse procédurale, tenant compte de la forme géométrique de la surface et de sa dynamique. Nous validons nos résultats en comparant le son généré par notre modèle virtuel par rapport à des enregistrements réels pour un ensemble de cas d'animations caractéristiques. Abstract In this article, we present a method to generate plausible sounds for an animation of crumpling paper in real-time. We analyse the geometrical animation of the deformed surface to detect sound-producing events and compute the regions which resonate due to the propagation of the vibrations though the paper. The resulting sound is synthesized from both pre-recorded sounds and procedural generation taking into account the geometry of the surface and its dynamic. Our results are validated by comparing the generated sound of the virtual model with respect to real recording for a set of specific deformations

Real-time audiovisual and interactive applications for desktop and mobile platforms

Tese de mestrado integrado. Engenharia Informática e Computação. Universidade do Porto. Faculdade de Engenharia. 201

Bewegungsverklanglichung zur Rehabilitation der Armmotorik nach Schlaganfällen

Der Schlaganfall ist eine der häufigsten Todesursachen in Deutschland sowie die häufigste Ursache für erworbene Behinderungen im Erwachsenenalter. Dies liegt vor allem an motorische Funktionsstörungen, welche die häufigsten Symptome darstellen. Da die traditionellen Therapieansätze zur Rehabilitation nur eine begrenzte Wirkung zeigen wurden in letzter Zeit Rehabilitationskonzepte musikunterstützten Trainings entwickelt. Ausgehend von neuen Erkenntnissen, dass Klavierspielen eine gute Möglichkeit der Rehabilitation feinmotorischer Fähigkeiten darstellt, wurde ein analoges Training für die Grobmotorik der oberen Extremität entwickelt, welches in der vorliegenden Arbeit evaluiert wurde. Sieben Schlaganfallpatienten erhielten neben dem normalen Trainingsprogramm ihrer ambulanten bzw. stationären Rehabilitation fünfzehn 30-minütige Einheiten eines Sonifikationstrainings über einen Zeitraum von drei Wochen. Die Patienten erhielten dabei ein musikalisches Feedback beim Heben und Senken des paretischen Armes in Form der ersten sechs Töne einer C-Dur-Tonleiter. Die fünf Patienten der Kontrollgruppe erhielten das gleiche Training, lediglich ohne auditives Feedback. Sensoren an Handgelenk und Oberarm zeichneten während des Trainings die Bewegungen auf und erlaubten eine spätere Bewegungsanalyse. Verhaltensuntersuchungen vor und nach Therapie enthielten sowohl motorische Tests (u.a. Box & Block Test, Action Research Arm Test) als auch subjektive Einschätzungen der Patienten zur Beeinflussung ihres Lebens durch den Schlaganfall (Stroke Impact Scale). Bei einer Subgruppe der Patienten wurden zudem EEG-Aufzeichnungen vor und nach Therapie durchgeführt, während denen eine repräsentative Bewegung des Trainings ohne auditives Feedback repetitiv durchgeführt wurde. Der WPLI wurde als Maß der kortikomuskulären Phasenkohärenz berechnet. Die Verhaltenstests zeigten insgesamt keine signifikanten Verbesserungen der Musikgruppe gegenüber der Kontrollgruppe. In den EEG-Analysen zeigte sich bei den Patienten der Musikgruppe, nicht jedoch bei dem Kontrollgruppenpatienten, eine gesteigerte kortikomuskuläre Phasenkohärenz in der ipsiläsionalen Hemisphäre. Die vorliegende Arbeit zeigt, dass das musikunterstützte Training ein interessanter Ansatz zur Rehabilitation grobmotorischer Armfunktionen nach Schlaganfall ist – wenn auch bisher mit eingeschränktem klinischem Nutzen. Vor allem wegen seines spielerischen Charakters und der hohen Motivation der Patienten stellt es aber eine willkommene und wirksame Ergänzung des bisherigen Rehabilitationstrainings dar. Weitere Studien sind nötig, um das musikunterstützte Training hinsichtlich seiner Langzeiteffekte, der optimalen Therapiedauer und der zu Grunde liegenden neurophysiologischen Effekte zu untersuchen

Audio-Material Modeling and Reconstruction for Multimodal Interaction

Interactive virtual environments enable the creation of training simulations, games, and social applications. These virtual environments can create a sense of presence in the environment: a sensation that its user is truly in another location. To maintain presence, interactions with virtual objects should engage multiple senses. Furthermore, multisensory input should be consistent, e.g. a virtual bowl that visually appears plastic should also sound like plastic when dropped on the floor. In this dissertation, I propose methods to improve the perceptual realism of virtual object impact sounds and ensure consistency between those sounds and the input from other senses. Recreating the impact sound of a real-world object requires an accurate estimate of that object's material parameters. The material parameters that affect impact sound---collectively forming the audio-material---include the material damping parameters for a damping model. I propose and evaluate damping models and use them to estimate material damping parameters for real-world objects. I also consider how interaction with virtual objects can be made more consistent between the senses of sight, hearing, and touch. First, I present a method for modeling the damping behavior of impact sounds, using generalized proportional damping to both estimate more expressive material damping parameters from recorded impact sounds and perform impact sound synthesis. Next, I present a method for estimating material damping parameters in the presence of confounding factors and with no knowledge of the object's shape. To accomplish this, a probabilistic damping model captures various external effects to produce robust damping parameter estimates. Next, I present a method for consistent multimodal interaction with textured surfaces. Texture maps serve as a single unified representation of mesoscopic detail for the purposes of visual rendering, sound synthesis, and rigid-body simulation. Finally, I present a method for geometry and material classification using multimodal audio-visual input. Using this method, a real-world scene can be scanned and virtually reconstructed while accurately modeling both the visual appearances and audio-material parameters of each object.Doctor of Philosoph