A Self-Organizing Neural Model of Motor Equivalent Reaching and Tool Use by a Multijoint Arm

This paper describes a self-organizing neural model for eye-hand coordination. Called the DIRECT model, it embodies a solution of the classical motor equivalence problem. Motor equivalence computations allow humans and other animals to flexibly employ an arm with more degrees of freedom than the space in which it moves to carry out spatially defined tasks under conditions that may require novel joint configurations. During a motor babbling phase, the model endogenously generates movement commands that activate the correlated visual, spatial, and motor information that are used to learn its internal coordinate transformations. After learning occurs, the model is capable of controlling reaching movements of the arm to prescribed spatial targets using many different combinations of joints. When allowed visual feedback, the model can automatically perform, without additional learning, reaches with tools of variable lengths, with clamped joints, with distortions of visual input by a prism, and with unexpected perturbations. These compensatory computations occur within a single accurate reaching movement. No corrective movements are needed. Blind reaches using internal feedback have also been simulated. The model achieves its competence by transforming visual information about target position and end effector position in 3-D space into a body-centered spatial representation of the direction in 3-D space that the end effector must move to contact the target. The spatial direction vector is adaptively transformed into a motor direction vector, which represents the joint rotations that move the end effector in the desired spatial direction from the present arm configuration. Properties of the model are compared with psychophysical data on human reaching movements, neurophysiological data on the tuning curves of neurons in the monkey motor cortex, and alternative models of movement control.National Science Foundation (IRI 90-24877); Office of Naval Research (N00014-92-J-1309); Air Force Office of Scientific Research (F49620-92-J-0499); National Science Foundation (IRI 90-24877

Drawing cartoon faces - a functional imaging study of the cognitive neuroscience of drawing

We report a functional imaging study of drawing cartoon faces. Normal, untrained participants were scanned while viewing simple black and white cartoon line-drawings of human faces, retaining them for a short memory interval, and then drawing them without vision of their hand or the paper. Specific encoding and retention of information about the faces was tested for by contrasting these two stages (with display of cartoon faces) against the exploration and retention of random dot stimuli. Drawing was contrasted between conditions in which only memory of a previously viewed face was available versus a condition in which both memory and simultaneous viewing of the cartoon was possible, and versus drawing of a new, previously unseen, face. We show that the encoding of cartoon faces powerfully activates the face sensitive areas of the lateral occipital cortex and the fusiform gyrus, but there is no significant activation in these areas during the retention interval. Activity in both areas was also high when drawing the displayed cartoons. Drawing from memory activates areas in posterior parietal cortex and frontal areas. This activity is consistent with the encoding and retention of the spatial information about the face to be drawn as a visuo-motor action plan, either representing a series of targets for ocular fixation or as spatial targets for the drawing actio

Influence of Sensorimotor Noise on the Planning and Control of Reaching in 3-Dimensional Space

abstract: The ability to plan, execute, and control goal oriented reaching and grasping movements is among the most essential functions of the brain. Yet, these movements are inherently variable; a result of the noise pervading the neural signals underlying sensorimotor processing. The specific influences and interactions of these noise processes remain unclear. Thus several studies have been performed to elucidate the role and influence of sensorimotor noise on movement variability. The first study focuses on sensory integration and movement planning across the reaching workspace. An experiment was designed to examine the relative contributions of vision and proprioception to movement planning by measuring the rotation of the initial movement direction induced by a perturbation of the visual feedback prior to movement onset. The results suggest that contribution of vision was relatively consistent across the evaluated workspace depths; however, the influence of vision differed between the vertical and later axes indicate that additional factors beyond vision and proprioception influence movement planning of 3-dimensional movements. If the first study investigated the role of noise in sensorimotor integration, the second and third studies investigate relative influence of sensorimotor noise on reaching performance. Specifically, they evaluate how the characteristics of neural processing that underlie movement planning and execution manifest in movement variability during natural reaching. Subjects performed reaching movements with and without visual feedback throughout the movement and the patterns of endpoint variability were compared across movement directions. The results of these studies suggest a primary role of visual feedback noise in shaping patterns of variability and in determining the relative influence of planning and execution related noise sources. The final work considers a computational approach to characterizing how sensorimotor processes interact to shape movement variability. A model of multi-modal feedback control was developed to simulate the interaction of planning and execution noise on reaching variability. The model predictions suggest that anisotropic properties of feedback noise significantly affect the relative influence of planning and execution noise on patterns of reaching variability.Dissertation/ThesisPh.D. Bioengineering 201

Motor memories of object dynamics are categorically organized.

The ability to predict the dynamics of objects, linking applied force to motion, underlies our capacity to perform many of the tasks we carry out on a daily basis. Thus, a fundamental question is how the dynamics of the myriad objects we interact with are organized in memory. Using a custom-built three-dimensional robotic interface that allowed us to simulate objects of varying appearance and weight, we examined how participants learned the weights of sets of objects that they repeatedly lifted. We find strong support for the novel hypothesis that motor memories of object dynamics are organized categorically, in terms of families, based on covariation in their visual and mechanical properties. A striking prediction of this hypothesis, supported by our findings and not predicted by standard associative map models, is that outlier objects with weights that deviate from the family-predicted weight will never be learned despite causing repeated lifting errors

From sensory cues to complex behaviour : towards an understanding of the neuronal computations underlying sensorimotor transformation in Caenorhabditis elegans

Tese de mestrado, Neurociências, Universidade de Lisboa, Faculdade de Medicina, 2020Sobrevivência em ambientes em rápida mudança requer mecanismos aprimorados que permitam aos organismos responder rapidamente a pistas sensoriais, captadas do meio envolvente, e a adaptarem o seu comportamento de forma adequada. O processamento, por parte do sistema nervoso dos organismos, dos mecanismos subjacentes a integração sensório-motora (a transformação de sinais sensoriais em outputs motores) e um dos processos mais fundamentais e, no entanto, mal compreendidos, em neurociências. Neste estudo, visou-se investigar de que forma o nemátodo Caenorhabditis elegans (C. elegans) efetua a transformação sensório-motora num dos seus principais circuitos neuronais de processamento de informação, fundamental na criação de comportamentos provocados pela perceção de odores. O conectoma de C. elegans foi minuciosamente estudado e mapeado, o que levou a que este nemátodo seja considerado um modelo biológico valioso para o estudo de circuitos neuronais e das suas funções. C. elegans e um organismo facilmente manipulável geneticamente. Transgenes que codificam indicadores de cálcio, como e exemplo GCaMP (genetically encoded calcium indicator), podem ser facilmente expressos em neurónios de interesse. GCaMP e uma variante de GFP (Green Fluorescent Protein) que sofre mudanças conformacionais mediante ligação a iões Ca2+ que fluem para o meio intracelular durante um evento de despolarização. Esta mudança conformacional provoca a emissão de fluorescência verde quando o organismo e iluminado com luz azul num setup de microscopia. A transparência de C. elegans torna indicadores de cálcio muito adequados para medição de atividade neuronal neste organismo. Com o advento de técnicas de microscopia para medição de atividade neuronal em C. elegans, foram desenvolvidos dispositivos microfluídicos que permitem manter o organismo imobilizado e sob condições ambientais controladas. A possibilidade de manter o ambiente exterior do organismo sob condições controladas permite o registo da atividade de neurónios específicos, ou mesmo de todo o sistema nervoso, em resolução single-cell, durante ambientes sensoriais constantes ou variáveis, permitindo a atribuição de padrões de atividade neuronal ao efeito de inputs sensoriais. De forma a quimiotaxar em direção a ambientes atrativos, C. elegans executa biased random walks, que consiste num aumento da duração de períodos de movimento dianteiro e uma diminuição na sequencia de manobras de reorientação. Executa também klinotaxis, o comportamento de oscilação da zona anterior do corpo em direções preferenciais, durante períodos de movimento dianteiro. Os princípios subjacentes as transformações sensório-motoras que influenciam o comportamento do organismo, de forma a causar um aumento ou diminuição da frequência de períodos de reversão, são ainda largamente desconhecidos. O interneurónio AIY e particularmente interessante para estudar estas questões, uma vez que este interneurónio recebe sinapses diretas de múltiplos neurónios sensoriais, e estabelece conexões reciprocas com vários neurónios, tendo estes funções na modulação da estratégia de locomoção. AIY foi previamente considerado como sendo fundamental e suficiente para a modulação de circuitos neuronais que, probabilisticamente, influenciam as principais estratégias comportamentais de C. elegans. Assim, estudar os mecanismos que estão na base da transformação sensório-motora que ocorre em AIY e da maior importância. Desta forma, será possível compreender os mecanismos empregados pelo sistema nervoso deste nemátodo, que codificam a execução de comportamentos fundamentais para a sua sobrevivência e fitness evolutivo: a habilidade de quimiotaxar em direção a ambientes sensoriais vantajosos. Em organismos que se movem livremente, o registo da atividade neuronal de células singulares com a gravação simultânea do comportamento do animal, permitiu estabelecer uma relação entre atividade neuronal e a execução de diferentes estratégias de locomoção, em múltiplos neurónios. Foi ainda observado, em estudos anteriores, que neurónios coativos em organismos imobilizados, estão também ativos durante o mesmo estado comportamental em animais que se movem livremente. Assim, a atividade de neurónios ativos em animais imobilizados pode ser diretamente relacionada com uma estratégia de locomoção. Embora o animal não esteja capaz de efetivar o comportamento codificado, um sinal de comando motor e gerado no sistema nervoso do animal. Desta forma, e possível compreender como e que o sistema nervoso do C. elegans combina estados comportamentais com inputs sensoriais, em animais imobilizados. Neurónios sensoriais em C. elegans possuem terminações nervosas expostas ao meio ambiente envolvente e podem reconhecem uma grande variedade de estímulos sensoriais. Neurónios motores enervam células musculares e são os neurónios ultimamente responsáveis pela geração de comportamentos. Interneurónios são considerados neurónios que carecem de terminações nervosas sensoriais ou juncões neuromusculares, por isso estabelecendo a comunicação entre neurónios sensoriais e motores ao formarem uma extensa rede de interações entre os últimos e outros interneurónios. Neste estudo, foram usadas técnicas de biologia molecular para expressar o indicador de cálcio GCaMP em neurónios de interesse: no interneurónio AIY; num dos seus principais parceiros pré-sinápticos – o neurónio sensorial AWC; e no interneurónio RIM. AWC e um neurónio sensorial envolvido na deteção de múltiplos odores, incluindo odor bacteriano. RIM e um interneurónio pré- motor cujos períodos de elevada atividade estão relacionados com a codificação de manobras de reversão. Foi utilizada microscopia confocal de disco giratório para registar a atividade dos neurónios acima mencionados, através das variações intracelulares de cálcio das células, tanto em animais imobilizados, como em animais livres. Observou-se que a atividade de AIY e aqui reportada como sendo dominada por um sinal codificante de estados de comando motor (locomoção dianteira/manobras de reversão), na ausência de mecanismos de feedback propriocetivo ativos. Apesar dos circuitos neuronais existentes no sistema nervoso de C. elegans, responsáveis pela sinalização do estado motor instantâneo para AIY, não serem dissecados, aqui e observada uma modulação da atividade do neurónio anterior a mudança de estado de comando motor. Esta observação e interpretada como uma indicação de que AIY regula a ocorrência de manobras de reversão. AIY recebe input maioritariamente de neurónios sensoriais, sendo, por isso, conhecido como um interneurónio primário. E, por isso, surpreendente encontrar uma regulação de estados de locomoção do animal numa fase tao precoce de transformação sensoriomotora. Estas descobertas vão de encontro a estudos recentes realizados em organismos com sistemas nervosos mais complexos. De seguida, visou-se compreender como e que o sinal dominante que governa a atividade de AIY e combinado com informação sensorial. Para isso, desenvolveu-se um paradigma de estimulação sensorial usando dispositivos microfluídicos que permitem o fornecimento de odores aos animais. Mediu-se a atividade de AWC e AIY em organismos imobilizados, enquanto se providenciou um estimulo sensorial de odor bacteriano. Devido a limitações técnicas do setup experimental usado para estimular o animal, não foi possível recapitular as respostas estereotipadas que o neurónio sensorial AWC apresenta aquando da estimulação sensorial, como reportado em literatura previa. Adicionalmente, não foram encontradas evidencias suficientes para afirmar que a atividade de AIY sofreu influencia do estimulo. Assim, não foi possível compreender em plenitude de que forma AIY combina informação de estados motores com informação sensorial. No entanto, encontrou-se evidencia para transformação sensório-motora, possivelmente através de outros circuitos neuronais que não o aqui estudado, que influenciou a modulação do comportamento animal. Estudos anteriores mostraram que AIY exibe atividade ao longo do axónio e suas projeções axonais, não existindo relatos de dinâmica de cálcio no núcleo ou corpo celular. Não e claro quão frequentemente neurónios mostram diferentes padrões de dinâmica de cálcio no soma ou neurites e, especificamente, quão frequentemente esta estratégia e usada por interneurónios como forma de integrar informação sensorial e motora no mesmo espaço celular. Não se encontrou evidencia de que esta estratégia e usada por AIY, sugerindo que este neurónio usa outras abordagens para combinar sinais de diferentes origens. Finalmente, a atividade de AWC e AIY for registada em animais livres de movimento, na presença de um gradiente bacteriano, uma fonte de alimento para C. elegans e, por isso, um forte estimulo sensorial. Atividade neuronal em animais restringidos de movimento e animais com a capacidade de se moverem livremente mostra diferenças. Deste modo, visou-se compreender como e que a atividade de AIY varia na presença de inputs sensoriais que só um animal livre de locomoção integra (inputs proprioceptivos). A fraca expressão de GCaMP que foi possível obter em AIY neste estudo limitou a resolução espacial e temporal dos dados obtidos, que revelaram ser insuficiente para os objetivos propostos. De um modo geral, este estudo e relevante para a comunidade por sugerir um interneurónio primário como sendo capaz de modular a ocorrência de estados de comando motor em estádios iniciais de integração sensório-motora. Esta estratégia foi recentemente reportada em sistemas nervosos mais complexos, sugerindo ter relevância funcional para múltiplos organismos do reino animal.Survival in fast changing environments requires fine-tuned mechanisms that allow the organisms to rapidly react to sensory cues and adapt their behaviour to respond accordingly. The brain’s computations underlying sensorimotor integration, the transformation of sensory signals into motor outputs, is one of the most fundamental, yet poorly understood, processes in neuroscience. Here, we aim to investigate how the nematode Caenorhabditis elegans achieves sensorimotor transformation, by studying one of its most fundamental neuronal circuits for information processing and odour evoked behaviours. By expressing genetically encoded calcium indicators in neurons of interest, we performed in vivo calcium imaging in immobilised worms, both in an environment deprived of fluctuating sensory stimulation and while delivering an attractive odour to the animals. We reveal the activity of a primary sensory neuron to be dominated by a signal encoding motor command states of the animal, and suggest that this neuron may take part in modulating motor command state transitions in the worm’s brain. Moreover, here, we aimed to study how an attractive cue for the worm affects the coding of behavioural states, and how a single neuron can multiplex both behavioural and sensory information. Finally, we recorded the activity of the same neurons in freely crawling animals as an attempt to understand how sensorimotor transformation varies from immobilised to unrestrained animals. Altogether, this work bears potential relevance to the C. elegans community by suggesting a primary sensory neuron as being capable of modulating motor commands states at early stages of sensorimotor transformation. This strategy has recently been reported in higher-order organisms as well, suggesting that it has functional relevance for organisms across the animal kingdom

The role of the posterior parietal cortex in cognitive-motor integration

"When interacting with an object within the environment, one must combine visual information with the felt limb position (i.e. proprioception) in order compute an appropriate coordinated muscle plan for accurate motor control. Amongst the vast reciprocally connected parieto-frontal connections responsible for guiding a limb throughout space, the posterior parietal cortex (PPC) remains a front-runner as a crucial node within this network. Our brain is primed to reach directly towards a viewed object, a situation that has been termed ""standard"". Such direct eye-hand coordination is common across species and is crucial for basic survival. Humans, however, have developed the capacity for tool-use and thus have learned to interact indirectly with an object. In such ""non-standard"" situations, the directions of gaze and arm movement are spatially decoupled and rely on both the implementation of a cognitive rule and online feedback of the decoupled limb. The studies included within this dissertation were designed to further characterize the role of the PPC in different types of visually-guided reaching which require one to think and to act simultaneously (i.e. cognitive-motor integration). To address the relative contribution of different cortical networks responsible for cognitive-motor integration, we tested three patients with optic ataxia (OA; two unilateral - first study, and one bilateral -second study) as well as healthy participants during a cognitively-demanding dual task (third study) on a series of visually-guided reaching tasks each requiring a relative weighting between explicit cognitive control and implicit online control of the spatially decoupled limb. We found that the eye and hand movement performance during decoupled reaching was the most compromised in OA during situations relying on sensorimotor recalibration, and the most compromised in healthy participants during a dual task relying on strategic control. Taken together, these data presented in this dissertation provide further evidence for the existence of alternate task-dependent neural pathways for cognitive-motor integration.