How touch and hearing influence visual processing in sensory substitution, synaesthesia and cross-modal correspondences

Sensory substitution devices (SSDs) systematically turn visual dimensions into patterns of tactile or auditory stimulation. After training, a user of these devices learns to translate these audio or tactile sensations back into a mental visual picture. Most previous SSDs translate greyscale images using intuitive cross-sensory mappings to help users learn the devices. However more recent SSDs have started to incorporate additional colour dimensions such as saturation and hue. Chapter two examines how previous SSDs have translated the complexities of colour into hearing or touch. The chapter explores if colour is useful for SSD users, how SSD and veridical colour perception differ and how optimal cross-sensory mappings might be considered. After long-term training, some blind users of SSDs report visual sensations from tactile or auditory stimulation. A related phenomena is that of synaesthesia, a condition where stimulation of one modality (i.e. touch) produces an automatic, consistent and vivid sensation in another modality (i.e. vision). Tactile-visual synaesthesia is an extremely rare variant that can shed light on how the tactile-visual system is altered when touch can elicit visual sensations. Chapter three reports a series of investigations on the tactile discrimination abilities and phenomenology of tactile-vision synaesthetes, alongside questionnaire data from synaesthetes unavailable for testing. Chapter four introduces a new SSD to test if the presentation of colour information in sensory substitution affects object and colour discrimination. Chapter five presents experiments on intuitive auditory-colour mappings across a wide variety of sounds. These findings are used to predict the reported colour hallucinations resulting from LSD use while listening to these sounds. Chapter six uses a new sensory substitution device designed to test the utility of these intuitive sound-colour links for visual processing. These findings are discussed with reference to how cross-sensory links, LSD and synaesthesia can inform optimal SSD design for visual processing

Reaching Performance in Heathy Individuals and Stroke Survivors Improves after Practice with Vibrotactile State Feedback

Stroke causes deficits of cognition, motor, and/or somatosensory functions. These deficits degrade the capability to perform activities of daily living (ADLs). Many research investigations have focused on mitigating the motor deficits of stroke through motor rehabilitation. However, somatosensory deficits are common and may contribute importantly to impairments in the control of functional arm movement. This dissertation advances the goal of promoting functional motor recovery after stroke by investigating the use of a vibrotactile feedback (VTF) body-machine interface (BMI). The VTF BMI is intended to improve control of the contralesional arm of stroke survivors by delivering supplemental limb-state feedback to the ipsilesional arm, where somatosensory feedback remains intact. To develop and utilize a VTF BMI, we first investigated how vibrotactile stimuli delivered on the arm are perceived and discriminated. We determined that stimuli are better perceived sequentially than those delivered simultaneously. Such stimuli can propagate up to 8 cm from the delivery site, so future applications should consider adequate spacing between stimulation sites. We applied these findings to create a multi-channel VTF interface to guide the arm in the absence of vision. In healthy people, we found that short-term practice, less than 2.5 hrs, allows for small improvements in the accuracy of horizontal planar reaching. Long-term practice, about 10 hrs, engages motor learning such that the accuracy and efficiency of reaching is improved and cognitive loading of VTF-guided reaching is reduced. During practice, participants adopted a movement strategy whereby BMI feedback changed in just one channel at a time. From this observation, we sought to develop a practice paradigm that might improve stroke survivors’ learning of VTF-guided reaching without vision. We investigated the effects of practice methods (whole practice vs part practice) in stroke survivors’ capability to make VTF-guided arm movements. Stroke survivors were able to improve the accuracy of VTF-guided reaching with practice, however there was no inherent differences between practice methods. In conclusion, practice on VTF-guided 2D reaching can be used by healthy people and stroke survivors. Future studies should investigate long-term practice in stroke survivors and their capability to use VTF BMIs to improve performance of unconstrained actions, including ADLs

Aplicación dos produtos de apoio de alta tecnoloxía no desempeño ocupacional das persoas con discapacidade visual: scoping review

[Resumo] Introdución: As persoas con discapacidade visual poden experimentar dificultades na realización de diferentes ocupacións cotiás. A tecnoloxía de apoio (TA) debe actuar coma un facilitador na participación desta poboación en actividades desexadas. Obxectivo: Coñecer se os produtos de apoio de alta tecnoloxía dan resposta ás dificultades no desempeño ocupacional coas que se atopan máis frecuentemente as persoas con discapacidade visual no seu día a día. Metodoloxía: Seguiuse unha metodoloxía de revisión de alcance. A busca bibliográfica foi levada a cabo nas bases de datos CINAHL, PubMed, Scopus e Web of Science. As variables temáticas establecéronse seguindo os compoñentes propostos polo Modelo da Actividade Humana e da Tecnoloxía de Apoio. Para a súa análise empregouse un enfoque mixto. Resultados: Na mostra incluíronse un total de 44 estudos. En moitos casos, non se especificou certa información relativa ás persoas participantes. A TA analizada centrouse principalmente na detección e na evitación de obstáculos, facilitando a mobilidade funcional. Os dispositivos reciben a información mediante sistemas de cámaras para transmitirlla á persoa por son. A TA está deseñada para contextos tanto interiores coma exteriores da vida diaria, e foi testada maiormente en ambientes reais. Conclusión: Os produtos de apoio de alta tecnoloxía están dirixidos principalmente a facilitar a mobilidade funcional, a participación social, e a lectura das persoas con discapacidade visual. En menor medida, abordaron a educación, o deporte e as tarefas do fogar. Así, non se centraron noutras actividades relevantes como a condución ou o emprego.[Resumen] Introducción: Las personas con discapacidad visual pueden experimentan dificultades en la realización de diferentes ocupaciones cotidianas. La tecnología de apoyo (TA) debe actuar como un facilitador en la participación de esta población en actividades deseadas. Objetivo: Conocer si los productos de apoyo de alta tecnología dan respuesta a las dificultades en el desempeño ocupacional con las que se encuentran más frecuentemente las personas con discapacidad visual en su día a día. Metodología: Se siguió una metodología de revisión de alcance. La búsqueda bibliográfica se llevó a cabo en las bases de datos CINAHL, PubMed, Scopus y Web of Science. Las variables temáticas se establecieron siguiendo los componentes propuestos por el Modelo de la Actividad Humana y la Tecnología de Apoyo. Para su análisis se empleó un enfoque mixto. Resultados: En la muestra se incluyeron un total de 44 estudios. En muchos casos, no se especificó cierta información relativa a las personas participantes. La TA analizada se centró principalmente en la detección y evitación de obstáculos, facilitando la movilidad funcional. Los dispositivos reciben la información mediante sistemas de cámaras para transmitírsela a la persona por audio. La TA está diseñada para contextos tanto interiores como exteriores de la vida diaria, y fue testada mayormente en ambientes reales. Conclusión: Los productos de apoyo de alta tecnología están dirigidos principalmente a facilitar la movilidad funcional, la participación social, y la lectura de las personas con discapacidad visual. En menor medida, abordaron la educación, el deporte, o las tareas del hogar. Así, no se centraron en otras actividades relevantes como la conducción o el empleo.[Abstract] Background: People with visual impairment can have difficulties in performing different daily occupations. Assistive technology (AT) should be an enabler in the participation of these population’s desired activities. Aim: To know if high-tech assistive devices respond to difficulties in the occupational performance that people with visual impairment most frequently experiment in their day-to-day lives. Methodology: A methodology of Scoping Review was used. The bibliographic search was carried out in the databases CINAHL, PubMed, Scopus y Web of Science. Thematic variables were established following the components proposed by the Human Activity Assistive Technology Model. For their analyses, a mixed methods approach was used. Results: A total of 44 studies were included in the sample. In many cases, certain information regarding the participants was not specified. The analyzed AT focused mainly on the detection and avoidance of obstacles, facilitating functional mobility. The devices receive the information through camera systems to transmit it to the person by audio. The AT is designed for indoor and outdoor contexts of everyday life, and it was mostly tested in real-world environments. Conclusion: The high-tech assistive devices are primarily aimed at facilitating the functional mobility, social participation, and reading of people with visual impairment. To a lesser extent, they addressed education, sports, or housework. However, they did not focus on other relevant activities such as driving or working.Traballo fin de mestrado (UDC.FCS). Asistencia e investigación sanitaria. Especialidade en Reeducación Funcional, Autonomía Persoal e Calidade de Vida. Curso 2020-202

VALIDATION OF A MODEL OF SENSORIMOTOR INTEGRATION WITH CLINICAL BENEFITS

Healthy sensorimotor integration – or how our touch influences our movements – is critical to efficiently interact with our environment. Yet, many aspects of this process are still poorly understood. Importantly, several movement disorders are often considered as originating from purely motor impairments, while a sensory origin could also lead to a similar set of symptoms. To alleviate these issues, we hereby propose a novel biologically-based model of the sensorimotor loop, known as the SMILE model. After describing both the functional, and the corresponding neuroanatomical versions of the SMILE, we tested several aspects of its motor component through functional magnetic resonance imaging (fMRI) and transcranial magnetic stimulation (TMS). Both experimental studies resulted in coherent outcomes with respect to the SMILE predictions, but they also provided novel scientific outcomes about such broad topics as the sub-phases of motor imagery, the neural processing of bodily representations, or the extend of the role of the extrastriate body area. In the final sections of this manuscript, we describe some potential clinical application of the SMILE. The first one presents the identification of plausible neuroanatomical origins for focal hand dystonia, a yet poorly understood sensorimotor disorder. The last chapter then covers possible improvements on brain-machine interfaces, driven by a better understanding of the sensorimotor system. -- La façon dont votre sens du toucher et vos mouvements interagissent est connue sous le nom d’intégration sensorimotrice. Ce procédé est essentiel pour une interaction normale avec tout ce qui nous entoure. Cependant, plusieurs aspects de ce processus sont encore méconnus. Plus important encore, l’origine de certaines déficiences motrices encore trop peu comprises sont parfois considérées comme purement motrice, alors qu’une origine sensorielle pourrait mener à un même ensemble de symptômes. Afin d’améliorer cette situation, nous proposons ici un nouveau modèle d’intégration sensorimotrice, dénommé « SMILE », basé sur les connaissances de neurobiologie actuelles. Dans ce manuscrit, nous commençons par décrire les caractéristiques fonctionnelles et neuroanatomiques du SMILE. Plusieurs expériences sont ensuite effectuées, via l’imagerie par résonance magnétique fonctionnelle (IRMf), et la stimulation magnétique transcranienne (SMT), afin de tester différents aspects de la composante motrice du SMILE. Si les résultats de ces expériences corroborent les prédictions du SMILE, elles ont aussi mis en évidences d’autres résultats scientifiques intéressants et novateurs, dans des domaines aussi divers que les sous-phases de l’imagination motrice, les processus cérébraux liés aux représentations corporelles, ou encore l’extension du rôle de l’extrastriate body area. Dans les dernières parties de ce manuscrit, nous dévoilons quelques applications cliniques potentielles de notre modèle. Nous utilisons le SMILE afin de proposer deux origines cérébrales plausibles de la dystonie focale de la main. Le dernier chapitre présente comment certaines technologies existantes, telles que les interfaces cerveaux-machines, pourraient bénéficier d’une meilleure compréhension du système sensorimoteur

Vision périphérique, caractérisation et suppléance de ses fonctions spatiales

The loss of peripheral vision (tunnel vision) leads to numerous deficits, reducing both independence and quality of life. These deficits reflect spatial cognition impairments, and highlight the close relationship between peripheral vision and spatial representations. This thesis has two main objectives: reaching a better understanding of the nature of these relationships, and using the acquired knowledge in order to propose adaptive, performant and innovative assistive devices able to overcome the peripheral loss. At first, I address the role of peripheral vision in egocentric space coding. I collaborated in a psychophysics experiment, involving detection of visual objects placed in peripheral vision. The visual objects formed similar images on the retina and differed only with respect to their egocentric location: either straight-ahead or eccentric with respect to the head/body midline. We found that straight-ahead objects elicit consistently shorter behavioral responses than eccentric objects. I took in charge a second study evaluating the link between the privileged sensory processing of the straight ahead direction and the dynamic of ocular saccades. Comparison between centripetal and centrifugal pro-saccades and anti-saccades revealed that the superior dynamic of centripetal saccades comes from both sensory and oculomotor factors. These works reveal the early integration of both visual and oculomotor signals in peripheral vision, leading to egocentric representations in which the straight ahead direction is highlighted. Secondly, I investigated the influence of peripheral vision in extracting allocentric spatial representations. In order to assess the role of peripheral vision in allocentric coding, I performed a memory-based pointing task toward previously gazed targets, which were briefly superimposed with visual cues placed at different eccentricities. The results showed that visual cues in peripheral (>10°) vision can contribute to the allocentric coding of a fixated target. A complementary experiment showed that these peripheral allocentric cues play a functional role, notably by facilitating visual searches. These works highlight the importance of peripheral vision in extracting functional spatial relationships between distant elements of the visual environment. Finally, I wanted to promote the development of new assistive devices, able to substitute both egocentric and allocentric spatial functions of the peripheral vision. As a proof of concept, I designed and evaluated a tactile interface mounted on wrist, communicating the spatial location of specific objects and facilitating visual search. Results showed that healthy subjects with artificial tunnel vision (10°) were able to increase by three visual search speeds thank to this tactile interface. Similar results were obtained on a glaucoma subject (field of view 10x15°). My multidisciplinary thesis highlights new roles of peripheral vision in spatial representations and proposes an innovative solution to develop assistive device for tunnel vision.La perte de vision périphérique (vision tubulaire) a pour conséquence de nombreux déficits qui réduisent fortement l'autonomie des personnes qui en sont atteintes et par conséquent leur qualité de vie. Nombre de ces déficits témoignent d'une cognition spatiale dégradée mettant en jeu des relations étroites entre vision périphérique et représentations spatiales. Le double objectif de ce travail de thèse consiste à mieux comprendre la nature de ces relations et, sur la base de ces connaissances, contribuer à l'émergence de dispositifs d'assistance plus adaptés et performants, capables de suppléer l'absence de vision périphérique. Dans un premier temps, je me suis intéressé au rôle de la vision périphérique dans la construction de représentations spatiales égocentrées. J'ai d'abord collaboré à une expérience de psychophysique impliquant la détection en vision périphérique de cibles visuelles situées soit droit-devant, soit excentrées par rapport à l'axe du corps. En mesurant les temps de réaction nous avons pu démontrer que les sujets humains répondaient plus rapidement aux cibles présentées droit-devant qu'aux cibles excentrées. J'ai pris en charge une deuxième étude complémentaire portant sur le lien entre ce traitement sensoriel privilégié du droit-devant en vision périphérique et la dynamique des saccades oculaires de recentrage. En comparant les dynamiques de pro-saccades et d'anti-saccades de recentrage ou d' " excentrage ", j'ai pu mettre en évidence que la supériorité dynamique des saccades de recentrage guidées par la vision périphérique reposait à la fois sur des facteurs sensoriels et oculomoteurs. Ces travaux révèlent l'intégration précoce de signaux visuels et oculomoteurs en vision périphérique, pouvant servir à localiser les éléments visuels par rapport à soi et à privilégier le traitement des éléments situés dans l'axe droit-devant. Dans un deuxième temps, mes travaux ont abordé l'influence de la vision périphérique dans les représentations spatiales allocentrées. Pour étudier l'implication de la vision périphérique dans le codage allocentré, j'ai réalisé une expérience impliquant une tâche de pointage vers des cibles visuelles en vision centrale, accompagnées ou non d'indices visuels à différentes distances en vision périphérique. Les résultats obtenus montrent que des indices visuels capturés par la vision périphérique peuvent effectivement contribuer au codage allocentré d'une cible fixée, et ce même lorsque ces indices périphériques doivent être extraits de scène visuelles complexes en moins de 200 ms. Dans une étude complémentaire, j'ai montré que l'utilisation de ces indices allocentrés situés en périphérie avait un véritable rôle fonctionnel, accélérant les recherches visuelles. Ainsi, ces travaux révèlent une implication fonctionnelle forte de la vision périphérique dans l'extraction des relations spatiales entre éléments présents dans l'environnement visuel. J'ai voulu, durant la dernière partie de ma thèse, initier le développement d'un dispositif d'assistance dont la finalité est de suppléer les fonctions spatiales, égocentrées et allocentrées, de la vision périphérique. Comme preuve de concept, mon travail a consisté à concevoir et développer un dispositif tactile placé sur le poignet et capable de communiquer la position spatiale d'objets d'intérêt pour en simplifier leurs recherches visuelles. Les résultats obtenus chez des sujets sains avec un champ visuel artificiellement réduit (10°) montrent que l'interface tactile permet d'accélérer par trois la vitesse de recherche visuelle. Des résultats similaires ont été observés chez une personne atteinte de glaucome (champ visuel de 10x15°). Ma thèse pluridisciplinaire permet d'apporter un nouvel éclairage sur l'implication de la vision périphérique dans la construction de représentations spatiales, et elle propose de nouvelles pistes pour le développement de dispositifs d'assistance adaptés aux personnes atteintes de vision tubulaire