Exploring model-based and model-free reinforcement learning in obsessive-compulsive disorder

RESUMO: A Perturbação Obsessivo-Compulsiva (POC) é uma doença neuropsiquiátrica comum, grave e incapacitante, para a qual os tratamentos actuais são ineficazes num grande número de casos. O instrumento mais utilizado para avaliar a gravidade de sintomas obsessivo-compulsivos é a Yale-Brown Obsessive-Compulsive Scale (YBOCS), que foi recentemente revista (Y-BOCS-II). No entanto, a sua validade de construto (tanto divergente como convergente) tem sido reportada como moderada e a sua validade de critério para diagnóstico de POC nunca foi testada. No primeiro capítulo desta tese testei, pela primeira vez, a validade de critério da Y-BOCS-II e demonstrei que um ponto de corte de 13 (pontuação total) atinge o melhor balanço entre sensibilidade e especificidade para o diagnóstico de POC. No entanto, confirmei que a sua validade divergente está longe de ser excelente. Este último achado levoume a procurar outros potenciais marcadores de POC. Têm sido demonstradas várias anomalias em doentes com POC utilizando tarefas neuropsicológicas ou técnicas de neuroimagem. Contudo, não existe ainda um marcador consistente para esta perturbação, que seja capaz de discriminar eficazmente pacientes que sofrem de POC, que seja sensível à mudança após intervenções terapêuticas e para o qual seja possível estabelecer uma correspondência com circuitos ou função cerebral. Uma abordagem que tem sido seguida nos últimos anos considera a POC como sendo caracterizada por uma disfunção nos sistemas cerebrais responsáveis pela aprendizagem de acções. As tarefas de decisão sequencial emergiram recentemente como um instrumento importante e sofisticado para estudar a aprendizagem de acções em humanos através da abordagem de reinforcement learning (RL). De acordo com a teoria subjacente ao RL, as acções podem ser aprendidas de duas formas distintas: um sistema modelbased funciona através da construção de um modelo interno das dinâmicas do ambiente e utiliza esse modelo para planear trajectórias comportamentais futuras, por oposição a um sistema model-free, que funciona armazenando o valor estimado das acções que foram implementadas recentemente e actualizando essas estimativas por tentativa e erro. As chamadas tarefas de decisão sequencial têm vindo a ser utilizadas para estabelecer associações entre disfunção de sistemas cerebrais de RL e algumas perturbações neuropsiquiátricas, como a POC, sendo que um desequilíbrio entre os sistemas model-based e model-free tem sido descrito. Através da aplicação de uma dessas tarefas de decisão sequencial, a two-step task, existe evidência que sugere que os doentes com POC têm um défice no sistema model-based. No entanto, neste paradigma em particular, antes de desempenhar esta tarefa os indivíduos recebem informação detalhada sobre a estrutura da mesma. Assim, não é claro como os dois principais sistemas de RL interagem quando os indivíduos aprendem exclusivamente através de interacção com o ambiente e como a informação explícita afecta as estratégias de RL. No segundo capítulo desta tese, desenvolvi uma nova tarefa de decisões sequenciais que permite não só quantificar o uso de estratégias modelbased RL e model-free RL, mas também diferenciar entre o impacto do conhecimento explícito da estrutura da tarefa e o impacto da experiência na mesma. Os resultados da aplicação da tarefa em indivíduos saudáveis demonstram que inicialmente a escolha de acções é controlada por aprendizagem model-free, com a aprendizagem model-based emergindo apenas numa minoria de indivíduos depois de experiência significativa com a tarefa, não emergindo de todo em indivíduos com POC, que por sua vez mostraram tendência para aumentar o uso de model-free RL com a experiência. Quando foi dada informação explícita sobre a estrutura da tarefa, observou-se um aumento dramático do uso de aprendizagem model-based, tanto nos voluntários saudáveis como em ambos os grupos clínicos. A informação explícita diminuiu o uso do sistema de aprendizagem model-free nos voluntários saudáveis e nos pacientes com perturbação do humor e ansiedade, mas essa diminuição não foi estatisticamente significativa no grupo de doentes com POC. Para além disso, depois das instruções, verificou-se em todos os grupos que a actualização do valor das acções aprendidas através do sistema model-free passou a ser mais influenciada pelo valor dos estados atingidos e menos influenciada pela consequência dos ensaios. Outro efeito da informação explícita sobre a estrutura da tarefa nos indivíduos saudáveis foi tornar as escolhas mais perseverantes, o que é consistente com uma modificação da estratégia de exploração. Estes resultados ajudam a clarificar o perfil de utilização de estratégias de RL dos pacientes com POC, que apresentam défice inespecíficos de aprendizagem model-based e achados mais específicos de maior uso de aprendizagem model-free, em ambos os casos antes de obterem informação sobrea estrutura da tarefa. Por fim, como a literatura ainda não é consensual sobre a interação entre um eventual sistema de model-based RL e um sistema de model-free RL nos circuitos cerebrais em humanos, devenvolvi um protocolo de ressonância magnética funcional para avaliar a escolha de ação sequencial com e sem instruções. Os resultados preliminares, em indivíduos saudáveis, sugerem que a reduced two-step task permite separar comportamento que utiliza aprendizagem predominantemente model-free (antes das instruções) de comportamento que utiliza aprendizagem predominantemente model-based (após as instruções), no mesmo indivíduo, estrutura da tarefa e ambiente. A análise dos dados de imagem funcional sugere que o conhecimento explícito sobre a estrutura da tarefa modifica a atividade neuronal no córtex paracingulado (cortex prefrontal medial) durante a transição do primeiro para o segundo passo da tarefa. Objectivos futuros incluem o uso de técnicas de análise multivariada para explorar a representação cerebral dos estados da tarefa e a aplicação deste protocolo de ressonância magnética funcional em populações clínicas.ABSTRACT: Obsessive-compulsive disorder (OCD) is a common, chronic and disabling neuropsychiatric condition for which current treatments are ineffective in a large proportion of cases. The gold-standard instrument to assess the severity of OCD symptoms is the Yale-Brown Obsessive-Compulsive Scale (Y-BOCS), which was recently revised (Y-BOCS-II). However, its construct validity has been reported has moderate and its criterion-related validity for the diagnosis of OCD has never been tested. In the first chapter of this dissertation, I tested, for the first time, criterion-related validity of the Y-BOCS-II and demonstrated that a cut-off of 13 (total score) attains the best balance between sensitivity and specificity for the diagnosis of OCD. However, I confirmed that its divergent validity is far from excellent. This last finding led me to search for other potential markers of OCD. Several abnormalities have been demonstrated in OCD patients in studies using neuropsychological and neuroimaging approaches, but we still lack a consistent marker for the disorder which is able to discriminate patients with OCD from healthy subjects or from patients with other mental disorders, which is sensitive to treatmentinduced changes, and which can be mapped to brain circuits or function. An approach which has been followed over the last decade is considering OCD as a disorder of action learning systems of the brain. Sequential decision tasks have recently emerged as an influential and sophisticated tool to investigate action learning in humans through the reinforcement learning (RL) framework. According to the RL framework, actions can be learned in two different ways: model-based control works by learning a model of the dynamics of the environment and later using that model to plan future behavioral trajectories, while model-free control works by storing the estimated value of recently taken actions and updating these estimates by trial-and-error. Sequential decision tasks have been used to assess associations between dysfunction in RL control systems and certain behavioral disorders, such as OCD, where an unbalance between model-based and model-free RL has been hypothesized. In fact, using the most commonly applied sequential decision task, the two-step task, evidence has been produced suggesting that OCD patients have a deficit in model-based learning. However, in this specific paradigm, subjects typically receive detailed information about task structure prior to performing the task. Thus, it remains unclear how different RL systems contribute when subjects learn exclusively from experience, and how explicit information about task structure modifies RL strategy. To address these questions, I created a sequential decision task requiring minimal prior instruction, the reduced two-step task. I assessed performance both prior to and after delivering explicit information on task structure, in healthy volunteers, patients with OCD and patients with other mood and anxiety disorders. Initially model-free control dominated, with model-based control emerging only in a minority of subjects after significant task experience, and not at all in patients with OCD, who had instead a tendency to increase their use of model-free control. Once explicit information about task structure was provided, a dramatic increase in the use of model-based RL was observed,similarly across healthy volunteers and both patient groups, including OCD. The debriefing also significantly decreased the use of model-free RL in healthy volunteers and in patients with mood and anxiety disorders, but not in OCD patients. Additionally, after instructions, model-free action value updates were influenced more by state values and less by trial outcomes, in all groups, and subject choices became more perseverative in healthy subjects, consistent with changes in exploration strategy. These results help in clarifying the RL profile for patients with OCD, with unspecific findings of deficient model-based control, and more specific findings of enhanced model-free control, in both cases prior to information about task structure. Finally, as the literature is not yet consensual on how model-free and modelbased RL systems interact in human brain circuits, I developed a functional magnetic resonance imaging (fMRI) protocol to assess uninstructed and instructed sequential action choice. Preliminary results in healthy subjects suggest that the fMRI version of the reduced two-step task allows to separate predominantly model-free control (before instructions) from predominantly model-based control (after instructions), in the same subject, task structure and environment. Across all sessions, choice events were associated with increases blood-oxygen-level-dependent (BOLD) activity in the left precentral gyrus and reward events were associated with increased BOLD activity in the ventral striatum. I found that explicit knowledge about task structure modifies blood-oxygen-level-dependent (BOLD) activity in the paracingulate cortex (medial prefrontal cortex) during the transition from the first- to the second-step of the task. Future directions include using multivariate pattern analysis techniques to explore how the brain represents state space in sequential decision tasks and applying the current fMRI protocol in clinical populations

Circular economy self-assessment tool for households: A collaborative approach

Household daily activities, such as food acquisition, housing, and mobility, are closely linked to sustainability impacts, including climate change, raw material use, quality of life, and waste production. However, individuals still don’t know how to act to better manage and improve their household sustainability performance, covering sustainable consumption and well-being, among other related aspects. In the context of households, when sustainable consumption is connected with circular economy, financial benefits become a possibility, and a main driver towards a sustainable lifestyle. Multiple studies have been conducted to understand circular economy assessment in products, private or public organizations, eco-industrial parks, and cities. However, there is still a lack of knowledge regarding the assessment of circular economy practices implemented at the household level, including current strategies, and indicators. Thus, the present work aims at developing a self-assessment tool to assess and report the implementation of circular economy-based strategies at the household level, including the definition of consumption activities, and indicators. This study is supported by a two-stage methodology, based on a mix-method procedure, that centres co-creation with residents/ fam- ily’s representatives in its approach, through the use of questionnaire surveys, and semi-struc- tured interviews with open-ended questions. Through a survey, the householders consumption priorities were identified, encompassing different circular economy practices and scopes. This allowed a qualitative triangulation with an integrative literature review, resulting in a set of 38 household circular economy metrics that enable self-assessment and foster circular economy at the consumer level. Additionally, insights over the use of the self-assessment tool were an- alysed, following a list of recommendations to optimize the construction of similar mecha- nisms. The developed self-assessment tool will allow individuals and families to assess, com- municate, and reflect on their behaviours about sustainability, in the vein of circular economy. It will foster a pro-environmental mindset, social equity, and economic consciousness in everyday decisions. This research contributes to the debate on the role of the household in the transition towards a circular economy, and its inherent assessment, and communication, using circular economy indicators.As atividades diárias das famílias, como a aquisição de alimentos, a habitação e a mobilidade, encontram-se significativamente associadas a múltiplos impactes ambientais, sociais e econó- micos, incluindo as alterações climáticas, a utilização de matérias-primas virgens, a qualidade de vida e a produção de resíduos. No entanto, os indivíduos ainda não sabem como agir para otimizar a gestão e o desempenho de sustentabilidade do seu agregado familiar, abrangendo o consumo sustentável e o bem-estar, entre outros aspetos relacionados. No contexto dos agregados familiares, quando o consumo sustentável está ligado à economia circular, os be- nefícios financeiros tornam-se uma possibilidade e uma das principais motivações para um estilo de vida sustentável. Múltiplos estudos foram realizados para compreender a avaliação da economia circular em produtos, organizações privadas ou públicas, parques eco industriais e cidades. No entanto, existe ainda uma falta de conhecimento relativamente à avaliação das práticas de economia circular implementadas a nível doméstico, incluindo estratégias e indi- cadores. Assim, o presente trabalho tem como objetivo desenvolver uma ferramenta de auto- avaliação para avaliar e comunicar a implementação de estratégias baseadas na economia cir- cular ao nível das famílias, incluindo a definição de atividades de consumo e indicadores. Este estudo é suportado por uma metodologia estratificada em duas fases, baseada num procedi- mento de método misto, que centra a sua abordagem na cocriação com os residentes/repre- sentantes das famílias, através da utilização de inquéritos por questionário e entrevistas semi- estruturadas com perguntas abertas. Através de um inquérito, identificaram-se as prioridades de consumo dos agregados familiares, abrangendo diferentes práticas e âmbitos da economia circular. Isto permitiu uma triangulação qualitativa com uma revisão integrativa da literatura, resultando num conjunto de 38 métricas de economia circular que permitem a autoavaliação e promovem a economia circular ao nível do consumidor. Adicionalmente, analisaram-se as perceções sobre a utilização da ferramenta de autoavaliação, seguindo-se uma lista de recomendações para otimizar a construção de mecanismos semelhantes. A ferramenta de au- toavaliação desenvolvida permitirá aos indivíduos e às famílias avaliar, comunicar e refletir so- bre os seus comportamentos em matéria de sustentabilidade, na linha da economia circular. Promoverá uma mentalidade pró-ambiental, equidade social e consciência económica nas de- cisões quotidianas. Esta investigação contribui para o debate sobre o papel do agregado fa- miliar na transição para uma economia circular, e a sua inerente avaliação e comunicação, uti- lizando indicadores de economia circular

A metalurgia Casal, 1964-1974 elementos para uma cultura de empresa

Sob os efeitos da internacionalização, da multinacionalização e, mais recentemente, da globalização - fenómenos conexos mas distintos -, assiste-se, ora com perplexidade, ora com euforia, à derrocada do Estado-Providência e do mundo criado sobre os seus fundamentos políticos, económicos, sociais e culturais. Na sua desintegração, o Megaestado arrasta consigo, também, a teoria clássica internacional. De facto, «não é exagero dizer-se que se está hoje perante um quase vazio teórico das relações económicas internacionais. A teoria assentou, desde Adam Smith a David e Ricardo ou, mesmo, a Samuelson e, praticamente até aos nossos dias, no pressuposto da imobilidade dos factores produtivos - terra, trabalho, capital e tecnologia»

A discreta presença dos Galegos em Aveiro

Entre 1835 e 1862, passaram por Aveiro muitos galegos, com destino a diversas vilas e cidades portuguesas, ou a caminho da América Latina. Deixando familiares no Porto, Espinho e Estarreja, alguns desses “peregrinos do trabalho” fixaram-se em Aveiro, deixando marca (discreta) na toponímia, na antroponímia e em diversas atividades económicas, nomeadamente no trato do sal, na pesca, no comércio ambulante ou de “porta aberta”. Testemunham de forma eloquente uma excelente integração económica, social e cultural, facilitada pelas origens históricas e linguísticas comuns, pela proximidade geográfica, pela identidade cultural. Na verdade, “todo o Portugal é mais ou menos galego”. Essa familiaridade chegou aos nossos dias, não obstante o “carácter assimétrico das relações entre Portugal e a Galiza”, até há poucas décadas

O conflito em contexto escolar: transformar barreiras em oportunidade

Nas relações que as pessoas estabelecem entre si ocorrem situações de conflito. A escola constitui um interface social propício a uma envolvência onde os conflitos proliferam face à complexidade do processo educacional. Transformar uma barreira em oportunidade é uma arte em que a formação do professor tem uma influência significativa nas decisões. Este artigo apresenta os resultados da análise de opiniões de futuros professores, relativas à gestão de conflitos, e dissemina boas práticas em contexto escolar. Deste modo, esperámos contribuir para um debate crítico-reflexivo sobre esta temática na formação inicial e para a resolução de problemas no âmbito da gestão de conflitos na comunidade escolar

Mobilidade e desenvolvimento local: o caso do concelho da Lousã

Mestrado em Planeamento Regional e UrbanoO presente trabalho propõe-se divulgar a forma como a mobilidade pode influenciar o desenvolvimento local, nomeadamente no que ao concelho da Lousã diz respeito. A mobilidade, hoje mais que nunca, é um dos factores preponderantes no desenvolvimento. Também a sustentabilidade dessa mesma mobilidade está intrinsecamente ligada à sustentabilidade do desenvolvimento. Uma mobilidade sustentável, onde as deslocações se tornem aprazíveis, confortáveis, rápidas e seguras, onde as acessibilidades a qualquer sítio sejam efectuadas de uma forma segura e também confortável, levando sempre em atenção as crianças, os idosos e pessoas com mobilidade reduzida, onde se dê primazia à deslocação pedonal e ciclável, num meio ambiente saudável é o caminho perfeito para que o desenvolvimento sustentável seja uma realidade. Este desenvolvimento sustentável aplicado e adequado correctamente a cada região poderá ser o elemento propulsor de um forte desenvolvimento local. Qualquer região é única com os seus saberes ancestrais, com o seu modo de vida, com os seus hábitos e culturas muito próprios. Um modelo de mobilidade sustentável aplicado numa dada região pode não ser o mais adequado aplicado noutra região. Nesse caso o modelo de mobilidade sustentável que se quer para o concelho da Lousã tem que ir de encontro às características inatas da região, aos anseios das suas gentes de modo a que o desenvolvimento seja harmonioso, sustentável e perdurável no tempo. Esta mobilidade tem ter em conta o que de melhor o concelho tem para oferecer, nomeadamente a sua serra e rios de modo a criar ou preservar um turismo sustentável que se mostre fortemente atractivo às pessoas de fora. Logo o propósito do presente trabalho é tentar descortinar o que de bom já se faz, para a prossecução deste desiderato, associando-o a novas propostas de modo a criar um modelo de mobilidade sustentável capaz de contribuir de forma sustentável para o desenvolvimento local desta região, de modo a que esta se torne um local aprazível onde seja agradável viver, criando nas pessoas que a visitam um sentimento de saudade, levando na lembrança voltar. Este estudo analisa e apresenta propostas relativas à mobilidade no concelho da Lousã que se espera possam contribuir, através da melhoria das acessibilidades, optimização de recursos disponíveis e captação de novas oportunidades (nomeadamente na área do turismo), para a melhoria da qualidade vida das populações.This paper proposes to disclose how mobility can influence the local development, particularly in what concerns the county of Lousã. Today more than ever, mobility is one of the most important factors in development. Also the sustainability of that mobility is intrinsically linked to the sustainable of the development. Sustainable mobility, where the movements become smooth, comfortable, fast and secure, where accessibility to anywhere is conducted in safe and comfort, always bearing in mind the children, the elderly and people with reduced mobility, giving priority to cycling and pedestrian travel in a safe environment is the perfect way to make sustainable development a reality. This sustainable development applied properly and appropriate for each region may be the driving element of a strong local development. Every region is unique with its ancestral knowledge, with its way of life, its habits and cultures of its own. Then a model of sustainable mobility applied in a certain place cannot be applied as appropriate in another place, In this case the model of the county of Lousã has to protect the innate characteristics of the region, the aspirations of its people so that development is harmonious, sustainable and lasting in time. This mobility must take into account the best that the county has to offer, including its mountains and rivers to create or preserve a sustainable tourism that will prove highly attractive to outsiders. Therefore the purpose of this paper is to uncover what is already good to pursue this goal, associating it with new proposals to create a model of sustainable mobility capable to contribute to sustainable local development in this region so that it becomes a pleasant place to live, to visit, creating in the tourists a sense of nostalgia, bringing the memories of coming back. This study analyses and makes proposals on mobility in the county of Lousã that are expected to contribute, by improving accessibility, optimization of available resources and attraction of new opportunities (especially in tourism), to improve the quality of life of people

Ambient intelligence for monitoring weight and physical activity

Dissertação de mestrado em Engenharia InformáticaWe have an increasingly sedentary population without the concern about a healthy diet. Therefore, it becomes necessary to give the population the opportunity, despite living a very busy and tiring life, to have control over important aspects of their health. This work aims to analyze and evaluate the impact of an ambient intelligence system on weight control and physical activity in active individuals. To accomplish this objective we have developed a mobile application that allows users to monitor their weight over a period of time, identify the amount of food they consume and the amount of exercise they practice. University students will be invited and selected, in a first stage, to participate in this study. All of the students must be considered “active students”, according to our selection criteria. Students with physical disabilities will be excluded from the study. This mobile application gives information to the users about dietary and physical activity guidelines in order to improve their lifestyles. It is expected that students improve their lifestyles

Arquitetura de Terra: das técnicas construtivas ao desenvolvimento de competências

A utilização da terra crua na arquitetura vernacular foi uma prática comum na atividade do homem, enquanto explorou os recursos naturais, atendendo às condicionantes regionais físicas e culturais, em harmonia com a natureza. Os sistemas e técnicas construtivas tradicionais, ao contrário do que a dada altura se pensou, revelaram-se mais eficazes e duradouras relativamente às soluções tecnológicas contemporâneas. O seu pragmatismo demonstrou que o homem acumulou o saber empírico herdado de gerações de artesãos, mestres e artífices, que se desvanece com a afirmação do Fordismo. A industrialização, as alterações na organização do trabalho, e a generalização do uso de materiais tecnológicos, levou à especialização, ao trabalho fracionado executado por múltiplos profissionais qualificados para os segmentos das tarefas exigidas, e consequentemente o desaparecimento das gerações de homens que detinham o saber fazer integrado, acumulado e transmitido de geração em geração. O património arquitetónico corrente, com sistemas construtivos tradicionais e vernaculares, tem uma expressão significativa no parque edificado nacional e, apresenta necessidade urgente de manutenção e reabilitação. Cabe ao arquiteto propor soluções alinhadas com a emergente posição face à gestão do património arquitetónico corrente, assim como a resolução dos problemas numa lógica de arquitetura sustentável. Assim estudar as técnicas de construção vernacular, formar técnicos com competências para intervir nestes edifícios e executar os trabalhos prescritos, permite criar mão-de-obra qualificada para atuar a nível local, na manutenção e preservação do património edificado corrente e permite devolver ao uso edifícios sem os desvirtuar. Por outro lado promove a criação de empregos locais, e mantendo as técnicas construtivas permite utilizar materiais locais de baixo custo, com baixa incorporação energética e reduzir a emissão de CO2 no seu processamento. Esta dissertação pretende promover a arquitetura de terra, a partir do aprofundamento do conhecimento sobre esta temática, propondo formação específica para a aquisição de competências orientadas à execução, manutenção e disseminação dos sistemas construtivos vernaculares e consequentemente às técnicas construtivas que utilizam a terra crua como matéria-prima.The usage of raw earth in traditional architecture was a common practice in human activity while natural resources were explored, in line with the physical and cultural regional limitations and in harmony with nature. Traditional construction techniques and systems are, in spite of long held beliefs, more efficient and long-lasting than the contemporary technological solutions. Their pragmatism has shown that mankind inherited the empirical knowledge of generations of craftsmen, a knowledge which disappears with the arrival of Fordism. Industry development, changes in labour organization and the widespread usage of technological materials have all led to specialization, to the fractioned work executed by several professionals, each qualified to their segment of the needed task, and consequently led to the disappearance of the generations of men who had the know-how of all previous generations. The current architectural landscape, with traditional construction systems, has a significant expression in the nationwide building stock and shows an urgent need for maintenance and rehabilitation work. It is the architect’s job to come up with solutions in line with the emerging position with regard to the management of the current architectural landscape, as well as the resolution of problems with a view to sustainable architecture. Thus, the study of traditional construction techniques and the training of technicians with skills for working in these buildings and perform the needed intervention allows the creation of a qualified workforce at local level, which can operate in maintenance and preservation of the current building stock and in turn rehabilitate buildings back into usage without denaturing them. On the other hand, it allows the creation of jobs at local level, and using the traditional techniques allows the usage of locally sourced, low cost materials with a low energy cost and a low CO2 footprint. The following dissertation is aimed at promoting earth architecture by deepening the knowledge on this topic, proposing specific training focused on acquiring skills for execution, maintenance and spreading of traditional construction systems, and consequently of the construction techniques which use raw earth as a material