The neurophysiological basis of short- and long-term ventriloquism aftereffects

Park H, Kayser C. The neurophysiological basis of short- and long-term ventriloquism aftereffects. bioRxiv. 2020.ABSTRACTOur senses often receive conflicting multisensory information, which our brain reconciles by adaptive recalibration. A classic example is the ventriloquist aftereffect, which emerges following both long-term and trial-wise exposure to spatially discrepant multisensory stimuli. Still, it remains debated whether the behavioral biases observed following short- and long-term exposure arise from largely the same or rather distinct neural origins, and hence reflect the same or distinct mechanisms. We address this question by probing EEG recordings for physiological processes predictive of the single-trial ventriloquism biases following the exposure to spatially offset audio-visual stimuli. Our results support the hypothesis that both short- and long-term aftereffects are mediated by common neurophysiological correlates, which likely arise from sensory and parietal regions involved in multisensory inference and memory, while prolonged exposure to consistent discrepancies additionally recruits prefrontal regions. These results posit a central role of parietal regions in mediating multisensory spatial recalibration and suggest that frontal regions contribute to increasing the behavioral bias when the perceived sensory discrepancy is consistent and persistent over time.</jats:p

Acquisition, characterization and classification of feedback event-related potentials during a time-estimation task

Las señales de feedback son componentes fundamentales dentro de los interfaces cerebro-ordenador (brain-computer interfaces o BCI), ya que suministran información para guiar la tarea ejecutada en cada momento. Se ha demostrado que la presentación de este tipo de estímulos produce cierta actividad en el cerebro que puede ser medida y clasificada. Dado que estos estímulos pueden darse mediante distintas modalidades sensoriales, es importante conocer los efectos que cada tipo de feedback produce en las señales cerebrales, así como cuál es el impacto que tiene en la clasificación de estos potenciales. El objetivo de este trabajo fin de máster es la realización de un estudio sobre los potenciales elicitados en el cerebro tras la presentación de señales de feedback, tanto positivo como negativo, mediante tres vías sensoriales: visual, auditiva y táctil. Se pretende desarrollar una BCI que permita adquirir potenciales evocados por distintos estímulos de feedback para su posterior caracterización y clasificación. La estructura del presente trabajo se divide en cinco bloques principales. El primero de ellos consistió en la búsqueda y estudio de bibliografía relacionada, lo cual permitió al autor crear la base de conocimiento necesaria para realizar el resto del trabajo. En segundo lugar se procedió a diseñar una BCI con un protocolo de experimentación que permitiese adquirir los potenciales cerebrales elicitados por feedback, mediante el registro de señal electroencefalográfica (EEG). Una vez ideado el protocolo, se procedió a la ejecución de una serie de sesiones de experimentación con 15 personas. De ellas, 5 realizaron los experimentos recibiendo la modalidad de feedback visual, 5 recibieron la modalidad auditiva y 5 táctil. Por tanto, la parte práctica de este trabajo se ha basado en la realización de 30 sesiones de experimentación (2 con cada uno de los sujetos), de alrededor de una hora de duración cada una. Cada sesión de experimentación consistió en realizar un montaje de electroencefalograma con 32 electrodos, ejecución y supervisión de la brain-computer interface, y finalmente retirada de todo el equipo de EEG y limpieza del mismo. Las sesiones de experimentos de 5 de los sujetos se realizaron en un laboratorio acondicionado para tal efecto en la Universidad de Zaragoza, las de los restantes 10 sujetos fueron realizadas en Bit&Brain Technologies, empresa spin-off de la Universidad de Zaragoza que se dedica a tareas de I+D utilizando tecnología BCI. Tras la obtención de la actividad EEG de las 15 personas, el siguiente paso consistió en realizar una caracterización de los potenciales adquiridos. Esta caracterización fue llevada a cabo desde el punto de vista de señal (Grand Averages) y de localización de fuentes, estudiando los focos de activación cerebral que generan el EEG medido. En último lugar, se procedió a la evaluación de varias estrategias de clasificación basadas en Support Vector Machines. Mediante la exploración de distintas estrategias se trató de evaluar el porcentaje de clasificación que se obtiene cuando se entrena el sistema con datos del propio sujeto que se va a clasicar y cuando se entrena con datos de sujetos distintos, tanto si sus señales han sido generadas por la misma modalidad de feedback como si han sido generadas por alguna otra. De forma adicional al trabajo inicialmente descrito en la propuesta de este trabajo fin de máster y, partiendo de los buenos resultados obtenidos, se quiso ir más allá, dando una aplicación práctica a las herramientas desarrolladas. Dado que el reconocimiento de potenciales elicitados por feedback tiene un gran potencial en algunas terapias de rehabilitacion, se utilizaron datos de un entrenamiento de neurofeedback para mejoras cognitivas, llevado a cabo en la empresa Bit&Brain Technologies con sujetos sanos. Durante este entrenamiento se adquirieron potenciales de feedback de 5 sujetos, que fueron estudiados y clasificados del mismo modo que los adquiridos con el protocolo incialmente diseñado

Audio Signal Processing Using Time-Frequency Approaches: Coding, Classification, Fingerprinting, and Watermarking

Audio signals are information rich nonstationary signals that play an important role in our day-to-day communication, perception of environment, and entertainment. Due to its non-stationary nature, time- or frequency-only approaches are inadequate in analyzing these signals. A joint time-frequency (TF) approach would be a better choice to efficiently process these signals. In this digital era, compression, intelligent indexing for content-based retrieval, classification, and protection of digital audio content are few of the areas that encapsulate a majority of the audio signal processing applications. In this paper, we present a comprehensive array of TF methodologies that successfully address applications in all of the above mentioned areas. A TF-based audio coding scheme with novel psychoacoustics model, music classification, audio classification of environmental sounds, audio fingerprinting, and audio watermarking will be presented to demonstrate the advantages of using time-frequency approaches in analyzing and extracting information from audio signals.</p

An Impulse Detection Methodology and System with Emphasis on Weapon Fire Detection

This dissertation proposes a methodology for detecting impulse signatures. An algorithm with specific emphasis on weapon fire detection is proposed. Multiple systems in which the detection algorithm can operate, are proposed. In order for detection systems to be used in practical application, they must have high detection performance, minimizing false alarms, be cost effective, and utilize available hardware. Most applications require real time processing and increased range performance, and some applications require detection from mobile platforms. This dissertation intends to provide a methodology for impulse detection, demonstrated for the specific application case of weapon fire detection, that is intended for real world application, taking into account acceptable algorithm performance, feasible system design, and practical implementation. The proposed detection algorithm is implemented with multiple sensors, allowing spectral waveband versatility in system design. The proposed algorithm is also shown to operate at a variety of video frame rates, allowing for practical design using available common, commercial off the shelf hardware. Detection, false alarm, and classification performance are provided, given the use of different sensors and associated wavebands. The false alarms are further mitigated through use of an adaptive, multi-layer classification scheme, leading to potential on-the-move application. The algorithm is shown to work in real time. The proposed system, including algorithm and hardware, is provided. Additional systems are proposed which attempt to complement the strengths and alleviate the weaknesses of the hardware and algorithm. Systems are proposed to mitigate saturation clutter signals and increase detection of saturated targets through the use of position, navigation, and timing sensors, acoustic sensors, and imaging sensors. Furthermore, systems are provided which increase target detection and provide increased functionality, improving the cost effectiveness of the system. The resulting algorithm is shown to enable detection of weapon fire targets, while minimizing false alarms, for real-world, fieldable applications. The work presented demonstrates the complexity of detection algorithm and system design for practical applications in complex environments and also emphasizes the complex interactions and considerations when designing a practical system, where system design is the intersection of algorithm performance and design, hardware performance and design, and size, weight, power, cost, and processing