Memory resources recover gradually over time: The effects of word frequency, presentation rate, and list composition on binding errors and mnemonic precision in source memory

Normative word frequency has played a key role in the study of human memory, but there is little agreement as to the mechanism responsible for its effects. To determine whether word frequency affects binding probability or memory precision, we used a continuous reproduction task to examine working memory for spatial positions of words. In three experiments, after studying a list of five words, participants had to report the spatial location of one of them on a circle. Across experiments we varied word frequency, presentation rate, and the proportion of low-frequency words on each trial. A mixture model dissociated memory precision, binding failure, and guessing rate parameters from the continuous distribution of errors. On trials that contained only low- or only high-frequency words, low-frequency words led to a greater degree of error in recalling the associated location. This was due to a higher word-location binding failure and not due to differences in memory precision or guessing rates. Slowing down the presentation rate eliminated the word frequency effect by reducing binding failures for low-frequency words. Mixing frequencies in a single trial hurt high-frequency and helped low-frequency words. These findings support the idea that word frequency can lead to both positive and negative mnemonic effects depending on a trade-off between an HF encoding advantage and a LF retrieval cue advantage. We suggest that (1) low-frequency words require more resources for binding, (2) that these resources recover gradually over time, and that (3) binding fails when these resources are insufficient

Change blindness: eradication of gestalt strategies

Arrays of eight, texture-defined rectangles were used as stimuli in a one-shot change blindness (CB) task where there was a 50% chance that one rectangle would change orientation between two successive presentations separated by an interval. CB was eliminated by cueing the target rectangle in the first stimulus, reduced by cueing in the interval and unaffected by cueing in the second presentation. This supports the idea that a representation was formed that persisted through the interval before being 'overwritten' by the second presentation (Landman et al, 2003 Vision Research 43149–164]. Another possibility is that participants used some kind of grouping or Gestalt strategy. To test this we changed the spatial position of the rectangles in the second presentation by shifting them along imaginary spokes (by ±1 degree) emanating from the central fixation point. There was no significant difference seen in performance between this and the standard task [F(1,4)=2.565, p=0.185]. This may suggest two things: (i) Gestalt grouping is not used as a strategy in these tasks, and (ii) it gives further weight to the argument that objects may be stored and retrieved from a pre-attentional store during this task

Neural synchrony in cortical networks : history, concept and current status

Following the discovery of context-dependent synchronization of oscillatory neuronal responses in the visual system, the role of neural synchrony in cortical networks has been expanded to provide a general mechanism for the coordination of distributed neural activity patterns. In the current paper, we present an update of the status of this hypothesis through summarizing recent results from our laboratory that suggest important new insights regarding the mechanisms, function and relevance of this phenomenon. In the first part, we present recent results derived from animal experiments and mathematical simulations that provide novel explanations and mechanisms for zero and nero-zero phase lag synchronization. In the second part, we shall discuss the role of neural synchrony for expectancy during perceptual organization and its role in conscious experience. This will be followed by evidence that indicates that in addition to supporting conscious cognition, neural synchrony is abnormal in major brain disorders, such as schizophrenia and autism spectrum disorders. We conclude this paper with suggestions for further research as well as with critical issues that need to be addressed in future studies

Neural synchrony in cortical networks : history, concept and current status

Following the discovery of context-dependent synchronization of oscillatory neuronal responses in the visual system, the role of neural synchrony in cortical networks has been expanded to provide a general mechanism for the coordination of distributed neural activity patterns. In the current paper, we present an update of the status of this hypothesis through summarizing recent results from our laboratory that suggest important new insights regarding the mechanisms, function and relevance of this phenomenon. In the first part, we present recent results derived from animal experiments and mathematical simulations that provide novel explanations and mechanisms for zero and nero-zero phase lag synchronization. In the second part, we shall discuss the role of neural synchrony for expectancy during perceptual organization and its role in conscious experience. This will be followed by evidence that indicates that in addition to supporting conscious cognition, neural synchrony is abnormal in major brain disorders, such as schizophrenia and autism spectrum disorders. We conclude this paper with suggestions for further research as well as with critical issues that need to be addressed in future studies

Mechanisms underlying working memory: is an object the sum of its parts?

Tese de mestrado integrado em Engenharia Biomédica e Biofísica , apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2017O cérebro é um órgão de incomensurável complexidade e uma das suas múltiplas funções é a de apreender estímulos presentes no meio ambiente e extrair informações importantes do mundo visual, com o propósito de lembrar os elementos-chave. Este processo é influenciado pela natureza da informação sensorial, que é transitória, temporária e potencialmente colossal. A memória é o rótulo atribuído às estruturas e processos envolvidos no armazenamento e posterior recuperação de informações. A working memory (memória funcional) é o meio pelo qual a informação é mantida e manipulada, na ordem dos segundos, estando a sua capacidade fortemente relacionada à faculdade intelectual e desempenho cognitivo. Défices associados à memória funcional são um problema significativo em doentes com demência, independentemente da sua etiologia, sendo que, com o aumento da esperança de vida, prevê-se que o número de pessoas com demência atinja globalmente 131 milhões em 20502. A crescente prevalência de doenças neurodegenerativas tem sido frequentemente descrita como uma epidemia de rápido crescimento, não apenas com impacto económico (devido aos custos elevados associados a assistência médica), mas também com uma pesada carga social, e especialmente com um impacto profundo na vida dos doentes e das suas famílias. Uma compreensão clara dos componentes cognitivos da short-term memory (memória a curto prazo), bem como os mecanismos subjacentes à memória funcional, poderão revelar-se inestimáveis no esforço para melhorar a qualidade de vida de doentes com demência. Antes de podermos desenvolver novos tratamentos para estas condições, é essencial compreender quais os processos cognitivos subjacentes à memória funcional, em indivíduos saudáveis. Só assim será possível compreender quais os componentes cognitivos que estão especificamente afetados na condição patológica. O objetivo do presente estudo consistiu em contribuir para a compreensão dos mecanismos implícitos na memória funcional, através do estudo da natureza das representações de memória de curto prazo. Nesse sentido, foi desenvolvido um teste neuropsicológico capaz de testar a forma como recuperamos a informação, abordando questões que são fundamentais para interpretar temáticas como o esquecimento e a capacidade de armazenamento. No presente trabalho de investigação, recorremos a três testes cognitivos com o intuito de examinar os efeitos de manipular encoding (codificação) e retrieval (recuperação) de informação na fidelidade da representação mental. Um objetivo adicional foi a exploração do efeito de manipulações de complexidade (número de características de um objeto) e competição (níveis de similaridade entre as características de um objeto) na robustez da memória funcional. A forma como os testes foram concebidos e implementados permitiu-nos explorar como as noções de identidade do objeto, localização e associações de objeto-localização são suscetíveis a manipulações de complexidade, competição e degradação ao longo do tempo. Os participantes foram testados com base em tarefas de memória visual de curto prazo sendo que os testes desenvolvidos para o presente estudo podem ser administrados online, a um grande número de pessoas. Estes testes têm ainda o potencial de ser introduzidos em contexto clínico com o propósito de auxiliarem na monitorização de doentes com défices cognitivos. Na primeira experiência implementada, experiência 1, seis condições distintas foram apresentadas aos participantes. As três primeiras condições variam na forma como a codificação é manipulada, mantendo a recuperação constante; nas restantes, a codificação foi mantida constante enquanto a recuperação foi manipulada em termos de complexidade e competição. Com esta experiência, pretendíamos avaliar os efeitos que a manipulação da codificação e recuperação da informação produzem na fidelidade da representação mental, bem como a sua variação em função do tempo decorrido. Pretendíamos ainda explorar se a quantidade de informação exerce efeitos prejudiciais no ato de recuperação devido a uma potencial interferência crescente entre os recursos da memória funcional. Por fim, investigámos os efeitos da semelhança dos memorandos na modulação do desempenho. Colocámos a hipótese de que informação mais complexa na fase de recuperação é vantajosa, visto que o aumento da complexidade dos memorandos poderá levar a uma maior separação de padrões ao funcionar como pistas de recuperação. Propusemos ainda que memorandos menos semelhantes partilham menos características tornando-os menos competitivos e como tal previmos que poderiam potencializem a memória funcional graças ao seu menor grau de interferência. Visto que na primeira experiência os resultados refletiram um efeito desproporcional da característica ‘forma’, no desempenho da memória, foi implementada uma segunda experiência. A experiência 2 teve como objetivo confirmar que os resultados obtidos na experiência 1 não foram corrompidos pelo facto dos participantes atribuírem mais peso à caraterística ‘cor’ em detrimento da característica ‘forma’, aquando da codificação da informação. Com a introdução de uma cue (pista) antes de cada codificação, impelimos que os participantes atribuíssem o mesmo peso a ambas as características. Foi ainda desenvolvida uma terceira experiência, visto que nos testes anteriores foram utilizadas ‘formas’ demasiado complexas como parte dos estímulos de codificação e recuperação. Embora tais estímulos sejam mais difíceis de verbalizar, é-lhes associada uma desvantagem inerente para o propósito do presente trabalho de investigação: a sua complexidade não é comparável à complexidade da característica ‘cor’. Por forma a ultrapassar este desequilíbrio entre estímulos visuais, nesta última experiência foram usados diferentes níveis de complexidade baseados na forma de um círculo. Na experiência 3 apenas a recuperação da memória funcional foi manipulada, mantendo-se a codificação constante. Quatro condições diferentes foram apresentadas a cada um dos participantes em blocos intermisturados. A primeira e terceira condições variaram em termos do número de características do objeto, enquanto que a segunda e quarta condições variaram em função da semelhança entre o alvo e o foil (objeto apresentado que não corresponde a nenhum dos objetos presentes no conjunto de codificação). Com este teste tencionámos avaliar se as informações visuais são armazenadas na memória funcional como características individuais ou como objetos integrados, formulando a hipótese de que o aumento da complexidade dos memorandos se traduz na alocação acrescida de recursos e subsequente melhoria de resolução. O papel da semelhança entre características na modulação do desempenho é igualmente explorado, ao conjeturar que uma maior semelhança entre recursos implica um maior grau de interferência, resultando numa perda de desempenho. Com base nas experiências realizadas, concluímos que a complexidade na recuperação é o principal fator no mapeamento do desempenho, com alguma variabilidade devido ao tempo decorrido. Adicionalmente, demonstrámos que mais informações na fase de recuperação (memorandos de elevada complexidade) aumentam a qualidade das representações mentais. Propomos que isto esteja relacionado com o facto de uma maior complexidade de um objeto estar associado a um maior número de características do mesmo. Estas características poderão corresponder a retro-cues (retro pistas) mais fidedignas, aumentando a acessibilidade às representações mentais e, consequentemente, melhorando a fidelidade da memória funcional. Futuramente, pretendemos implementar a experiência 3 em grupos de idosos saudáveis, assim como doentes com Alzheimer, por forma a fazer um estudo comparativo. Tencionamos perceber se as conclusões tiradas com base numa população jovem são as mesmas comparativamente a uma população com um envelhecimento saudável e outra comprometida em termos cognitivos, e potencialmente encontrar um marcador comportamental que explique possíveis diferenças identificadas. Planeamos ainda testar grupos de jovens adultos utilizando ressonância magnética funcional (fMRI) para avaliar se existem diferentes regiões de ativação neuronal associados ao desempenho e precisão da identificação de memorandos. Além disso, permitir-nos-á avaliar diferentes ativações neurais associadas à codificação e recuperação e a sua inter-relação.With life expectancy increasing worldwide, the number of people with dementia is estimated to reach 131 million by 20501. Dementia is a neurodegenerative condition that affects working memory the short-term storage and manipulation of sensory information lasting on the order of seconds and is characterized by memory loss and cognitive impairment. Before we can develop new treatments, it is essential to improve our understanding of the cognitive component processes underlying short-term memory in health. Only after will we be able to fully comprehend which specific cognitive components are disrupted by the disease. Working memory is a fundamental cognitive process, that can be decomposed into three components: encoding, maintenance and retrieval. Despite the fact that encoding and maintenance have been investigated intensively, we know very little about retrieval and how it affects memory quality. To address this question, sensitive cognitive tests were developed. Here, across three experiments, we have shown that the more information we have about an object the better we are able to remember it, irrespective of encoding. Since this only occurs when information exits working memory, this suggests retrieval might undergo a completely different process from encoding. We began by examining whether manipulating the retrieval of information produces a greater effect on working memory recall than manipulating the process of information encoding in young healthy adults (n = 20, experiment 1). We evaluated two contrasting hypotheses by questioning if the increased complexity of memoranda (objects with additional features) enhances working memory or, conversely, impairs recall by demanding augmented cognitive processing in identifying and comparing items with similar characteristics (increased feature interference). This first experiment revealed an unbalanced contribution of features during encoding, possibly due to disproportionately weighing feature ‘colour’ as opposed to feature ‘shape’. Therefore, the second experiment (experiment 2, n = 20) was conducted by presenting a cue before each trial to induce strategic encoding. We found no effect of manipulating encoding but a clear influence of the nature of retrieval on memory performance. We then asked how changing the amount of information of each item at retrieval– and the similarity between these memoranda– can affect the quality of mental representations (experiment 3, n = 21). The results suggest that more complex information at probing increases working memory performance. Increasing similarity between objects at retrieval also appears to enhance working memory resolution. The cognitive test we developed could potentially be administered online to a large number of people and used as a behavioural marker in different clinical populations to diagnose and differentiate problems with short-term memory

Temporal Selection in Dynamic Displays: Sensory Information Persists Despite Masking

The visual system receives a dynamic stream of information, but it has a limited capacity and must deploy its resources to behaviourally relevant stimuli - a process referred to as “attention”. Rapid serial visual presentation (RSVP) is an experimental method for investigating attention’s time course by presenting a rapid sequence of stimuli at a single location. Attentional selection in both naturalistic viewing and RSVP is limited by masking, and many models of selection in RSVP assume that masking terminates sensory memory for stimuli that are no longer present. However, there is indirect evidence that information about unselected RSVP stimuli may persist in a buffer despite masking. In this thesis we directly investigate buffering and selection of a cued item from one of multiple simultaneous RSVP streams. We use mixture modelling to analyse reports from only those trials in which participants identified a letter in response to the cue, and outline a novel quantitative test for buffering (Chapter 2). This provides new insights into the temporal variability of selection with exogenous and endogenous cues (Chapter 3). A series of experiments show that participants can select buffered representations, despite masking, and this appears to be related to the number of simultaneous RSVP streams (Chapter 4). We also investigate possible contributions of crowding and eccentricity to selection (Chapter 5). RSVP provides a measure of attention’s timing that replicates classic attentional effects. However, participants appear to dedicate attention to the streams prior to the cue’s appearance. When there are few streams, this leads to attentional speeds fast enough to select a stimulus representation that persists briefly, despite the masking inherent in RSVP. This falsifies theoretical claims about masking in RSVP, and demonstrates that the dynamic nature of naturalistic viewing does not prevent selection from sensory memory

Applications of Sparse Representations

In this dissertation I explore the properties and uses of sparse representations. Sparse representations use high dimensional binary vectors for representing information. They have many properties which make this representation useful for applications involving pattern recognition in highly noisy and complex environments. Sparse representations have a very high capacity. A typical sparse representation vector has a capacity of 10^84 distinct vectors, which is more than the number of atoms in the universe. Sparse representations are highly noise robust. They can tolerate even up to 50% noise. A very powerful and useful property of sparse representations is that they allow us to easily measure similarity between two things by directly comparing their representations. These properties allow them to have applications in a variety of fields, like Artificial Intelligence and Molecular Biology, that need to encode information that is complex and noisy in nature. In this dissertation, I show how sparse representations can be used for representing complex environments for an agent based on Learning Intelligent Decision Agent (LIDA) model. Sparse representations allowed us to achieve a two-fold goal of producing information rich representations of things in the environment while proposing a method of generating grounded representations for the LIDA model. Sparse representations also allowed us to ground the representations used by LIDA in the sensory apparatus of the agent while still allowing a perfect fidelity communication between the sensory memory of LIDA and the rest of the model. I also show how sparse representations are useful in Molecular Biology for discovering data-driven patterns in heterogeneous and noisy gene expression data. We used a sparse auto-encoder to learn sparse representations of transcriptomics experiments taken from a huge publicly available dataset. These representations were then used to identify biological patterns in the form of gene sets. The representation provided a unique signature for a set of samples originating from the same experimental condition. Applications of our method include the identification of previously undiscovered gene sets as well as supervised classification of samples from different biological classes. Overall, our results show that sparse representations are useful in a variety of fields that involve finding patterns in a complex and noisy environment