Producing Decisions and Explanations: A Joint Approach Towards Explainable CNNs

Deep Learning models, in particular Convolutional Neural Networks, have become the state-of-the-art in different domains, such as image classification, object detection and other computer vision tasks. However, despite their overwhelming predictive performance, they are still, for the most part, considered black-boxes, making it difficult to understand the reasoning behind their outputted decisions. As such, and with the growing interest in deploying such models into real world scenarios, the need for explainable systems has arisen. Therefore, this dissertation tries to mitigate this growing need, by proposing a novel CNN architecture, composed of an explainer and a classifier. The network, trained end-to-end, constitutes an in-model explainability method, that not only outputs decisions as well as visual explanations of what the network is focusing on to produce such decisions

Para uma avaliaçâo de processamento de palavras sufixadas do português europeu. Desafios da adaptaçâo das provas morfológicas da bateria PAL (Psycholinguistic Assessment of Language)

The PAL-PORT is the recently adapted European Portuguese version of the Psycholinguistic Assessment of Language (PAL), originally developed for the English language by Caplan (1992). This battery includes subsets of tests pertaining to, amongst others, aspects of morphological processing. In this paper the authors discuss the main challenges faced in selecting the derived suffixed words included in the the PAL PORT’s lexical decision test and production of affixed words test. Word selection criteria are critically reviewed considering the manner in which different suffix and derived word properties (especially morphophonological) interact with potentially alternative processing modes (holistic or (de) compositional) of morphologically complex words.La PAL-PORT es una bateria de pruebas de evaluación psicolingüística recientemente adaptada para el portugués (variante europea) a partir de la PAL (Psycholinguistic Assessment of Language), originalmente desarrollada para la lengua inglesa por Caplan (1992). La bateria incluye pruebas que incorporan, entre otros, aspectos del procesamiento morfológico. Ecuacionamos, en este trabajo, los principales problemas levantados por la seleción de las palabras derivadas por sufijación que integran las pruebas de decisión lexical y de produción de palabras afijadas de la PAL-PORT. Se discuten críticamente los criterios de selección de estas palabras y, más precisamente, la forma en como diferentes propiedades (con destaque a las morfofonológicas) de los sufijos y de las palabras derivadas pueden interactuar con los modos eventualmente alternativos de procesamiento (holístico o (de)composicional) de las palabras morfológicamente complejas.A PAL-PORT é unha batería de probas de avaliación psicolingüística recentemente adaptada para o portugués (variante europea) a partir da PAL (Psycholinguistic Assessment of Language), orixinalmente desenvolvida para a lingua inglesa por Caplan (1992). A batería inclúe probas envolvendo, entre outros, aspectos do procesamento morfolóxico. Ecuacionamos, neste traballo, os principais problemas levantados pola selección das palabras derivadas por sufixación que integran as probas de decisión lexical e de produción de palabras afixadas da PAL-PORT. Son criticamente discutidos os criterios de selección destas palabras e, máis precisamente, a forma como diferentes propiedades (con destaque para as morfofonolóxicas) dos sufixos e das palabras derivadas poden interaxir cos modos eventualmente alternativos de procesamento (holístico ou (de)composicional) das palabras morfoloxicamente complexas.A PAL-PORT é uma bateria de provas de avaliação psicolinguística recentemente adaptada para o português (variante europeia) a partir da PAL (Psycholinguistic Assessment of Language), originalmente desenvolvida para a língua inglesa por Caplan (1992). A bateria inclui provas envolvendo, entre outros, aspectos do processamento morfológico. Equacionamos, neste trabalho, os principais problemas levantados pela selecção das palavras derivadas por sufixação que integram as provas de decisão lexical e de produção de palavras afixadas da PAL-PORT. São criticamente discutidos os critérios de selecção destas palavras e, mais precisamente, a forma como diferentes propriedades (com destaque para as morfofonológicas) dos sufixos e das palavras derivadas podem interagir com os modos eventualmente alternativos de processamento (holístico ou (de)composicional) das palavras morfologicamente complexas

Narratives of the Portuguese Diaspora: Life, Literature, Cinema

This project aims to understand the contexts of life of the people involved in this process (rupture, integration, opportunities, etc.) and, in parallel, study the literary and filmic fiction whose subject is the Portuguese diaspora, seeking to draw analogies and differences between the lived stories and fictional stories. Literature and film as the real modelling elements often have an anticipatory nature and therefore also instructive. "The fictional (...) works rather as a means of making imagery affordable to experience outside of their pragmatic function. The open spaces of pretence, the fictional compels the imagination to take one way, while at the same time, acts as a medium for its manifestation "(Iser, 1993)

Eça de Queirós, Manoel de Oliveira et les parcours de l’adaptation dans Singularités d’une Jeune Fille Blonde

Nous prétendons explorer dans cet article quelques-uns des rapports qui s’établissent entre le film Singularités d’une Jeune Fille Blonde, réalisé par Manoel de Oliveira (2009), et son hypotexte littéraire, le conte homonyme d’Eça de Queirós (1874). Notre étude se situe donc dans le domaine de la problématique de l’adaptation d’un récit littéraire à un récit filmique, tout en privilégiant une approche du genre narratologique. En envisageant le film Singularités d’une Jeune Fille Blonde soit dans un rapport d’intertextualité avec l’oeuvre d’Eça de Queirós, soit dans un rapport d’intertextualité, ou plutôt autotextualité, avec l’ensemble de la filmographie de Manoel de Oliveira, nous arrivons à la conclusion que cette adaptation-là devient un parcours de transformation réciproque, mettant en évidence les qualités de chaque moyen d’expression, de chaque texte et de chaque auteur

DeViL: Decoding Vision features into Language

Post-hoc explanation methods have often been criticised for abstracting away the decision-making process of deep neural networks. In this work, we would like to provide natural language descriptions for what different layers of a vision backbone have learned. Our DeViL method decodes vision features into language, not only highlighting the attribution locations but also generating textual descriptions of visual features at different layers of the network. We train a transformer network to translate individual image features of any vision layer into a prompt that a separate off-the-shelf language model decodes into natural language. By employing dropout both per-layer and per-spatial-location, our model can generalize training on image-text pairs to generate localized explanations. As it uses a pre-trained language model, our approach is fast to train, can be applied to any vision backbone, and produces textual descriptions at different layers of the vision network. Moreover, DeViL can create open-vocabulary attribution maps corresponding to words or phrases even outside the training scope of the vision model. We demonstrate that DeViL generates textual descriptions relevant to the image content on CC3M surpassing previous lightweight captioning models and attribution maps uncovering the learned concepts of the vision backbone. Finally, we show DeViL also outperforms the current state-of-the-art on the neuron-wise descriptions of the MILANNOTATIONS dataset. Code available at https://github.com/ExplainableML/DeViLComment: Accepted at GCPR 2023 (Oral

Etiologia e fisiopatologia da perturbação do espetro do autismo : revisão narrativa da literatura

Trabalho Final do Curso de Mestrado Integrado em Medicina, Faculdade de Medicina, Universidade de Lisboa, 2020As perturbações do espetro do autismo (PEA) são um conjunto heterogéneo de condições do neurodesenvolvimento, caracterizadas por dificuldades na comunicação social, bem como comportamentos e interesses repetitivos e restritivos de instalação precoce. A etiologia desta patologia é multifatorial e culmina num desenvolvimento cerebral atípico, determinando uma elevada heterogeneidade clínica. Esta revisão da literatura tem como objetivos analisar as diversas etiologias possíveis e os mecanismos fisiopatológicos que provocam alterações do neurodesenvolvimento nos indivíduos afetados. Relativamente à metodologia, foi feita uma pesquisa de artigos nos motores PubMed e Medline (utilizando as palavras-chave “autism”, “autism spectrum disorder”, “ASD”, “etiology”, “genes”, “connectivity”, “neurobiology” e “default mode network”), assim como consulta de livros de texto e websites relevantes. Sendo a etiologia da PEA multifatorial, os fatores contribuintes são mutações genéticas (incluindo dos genes PTEN, MECP2 e CHD8, por exemplo), alterações epigenéticas, modificações do ambiente e disfunções imunológicas (diferenciadas em modificações pré- e pós-natais). Relativamente aos mecanismos fisiopatológicos, são frequentes alterações de vias de sinalização celular (RAS/ERK, PI3K/AKT, WNT e β-catenina) e de vários neurotransmissores, com impacto negativo no neurodesenvolvimento e na sintomatologia. Os diversos insultos sofridos resultam em modificações cerebrais: conetividade de longa-distância deficitária e aumento tendencial da conetividade local; alterações na matéria branca, especialmente no corpo caloso, fascículos longitudinal superior, longitudinal inferior, occipitofrontal e uncinado, e giro cingulado; alterações no córtex, cerebelo e default mode network. Além disso, as atipias cerebrais sugerem ter uma variação com a idade, havendo um crescimento cefálico anormalmente aumentado nos primeiros anos de vida, seguido de posterior regressão em idades mais avançadas. Assim, a melhor compreensão dos mecanismos etiológicos e fisiopatológicos da PEA permite um conhecimento aprofundado e individualizado dos sintomas, um diagnóstico mais preciso e, no futuro, uma abordagem terapêutica possivelmente mais eficaz e antecipada.The autism spectrum disorders (ASD) are a heterogeneous set of neurodevelopmental conditions, characterized by impairments in social communication, as well as repetitive and restrictive behaviors and interests of early onset. The etiology of this disorder is multifactorial and culminates in atypical brain development, thus determining a high clinical heterogeneity. The present literature revision aims to analyze the diverse possible etiologies and the physiopathological mechanisms underlying the neurodevelopmental alterations in affected individuals. Referring to the methodology, an article search was done in PubMed and Medline search engines (using the keywords “autism”, “autism spectrum disorder”, “ASD”, “etiology”, “genes”, “connectivity”, “neurobiology” and “default mode network”), along with the consultation of textbooks and relevant websites. Given that the etiology of ASD is multifactorial, the contributing factors are genetic mutations (including PTEN, MECP2 and CHD8 genes, for example), epigenetic alterations, environmental modifications and immunological disfunctions (distinguished between pre and postnatal modifications). Referring to the pathophysiological mechanisms, cell signaling pathways (RAS/ERK, PI3K/AKT, WNT and β-catenin) and several neurotransmitter alterations are frequent, negatively impacting on the neurodevelopment and symptomatology. The various suffered insults result in cerebral modifications: long-range underconnectivity and tendential shortrange overconnectivity; changes in white matter, especially the corpus callosum, superior and inferior longitudinal fasciculi, occipitofrontal and uncinate fasciculi and cingulum; modifications in the cortex, cerebellum and default mode network. Moreover, the cerebral changes seem to be age-related, with an abnormally enlarged head growth in the first years, followed by regression in older ages. Therefore, a more comprehensive understanding of the etiological and physiopathological mechanisms of ASD allows for a broader and more individualized knowledge of the symptoms, a more accurate diagnosis and, in the future, possibly an earlier and more effective therapeutic approach

A Memória e a Transformação - A Quinta do Bom Gosto

Na presente Dissertação de Mestrado, A Memória e a Transformação - A Quinta do Bom Gosto, imagina-se o projecto de recuperação de uma bela Quinta Limiana. O exercício de projecto é acompanhado por uma reflexão teórica, colecção de teorias e metodologias, onde se cruzam e relacionam caminhos de projecto de forma a esclarecer modos de projectar, instrumentos e ferramentas operativas. Propõe-se, então, abordar o projecto de recuperação e transformação de um conjunto arquitectónico e paisagístico de grande valor histórico, a Quinta do Bom Gosto em Ponte de Lima, construída no final do século XIX. O objectivo é traçar uma resposta ajustada, com base numa profunda reflexão teórica, sobre a forma de um projecto, fundamentado numa interpretação histórica do lugar e das construções existentes. Acredita-se que um projecto sólido pressupõe uma consistência e rigor teóricos e, por isso, a investigação e a análise teórica informam e determinam a proposta. Assim, numa espécie de percurso cruzado, o objecto de estudo prático desencadeia a pesquisa teórica e a teoria levanta questões ao projecto. É um exercício, um ensaio, que resulta de uma aproximação à temática da intervenção em edifícios históricos, tema pouco abordado ao longo do meu percurso académico. Deste modo, procurou-se extrair conhecimentos e conteúdos que estimulem a consciência no acto de projectar sobre o construído. Como atacar e resolver este exercício? Que operação será a mais adequada? Restaurar? Substituir? Demolir? Ampliar? Conservar? Redesenhar? Preservar? A dissertação está dividida em 3 partes: no primeiro capítulo, Transformar a Memória, a construção de um fio condutor histórico sobre o tema da intervenção em património, uma síntese histórica sobre as teorias de restauro e diferentes posturas interventivas, numa aproximação mais geral e concentrada no fim do século XIX e século XX; no segundo capítulo, Projectar a Transformação, um olhar atento sobre quarto obras de quatro arquitectos distintos: dois portugueses - Álvaro Siza e Eduardo Souto de Moura - e dois britânicos - David Chipperfield e John Pawson, onde se procura compreender diferentes processos projectuais e modos de operar. Analisam-se as suas escolhas na intervenção em edifícios pré-existentes, o modo como a nova arquitectura transforma o antigo, como aceita ou não o desafio da tradição, quais são as referências utilizadas e como se constroem as soluções adoptadas. Por fim, o terceiro e último capítulo, A Memória e o Projecto da Quinta do Bom Gosto, que consiste no delinear de uma ideia de projecto consistente, fruto da reflexão dos capítulos anteriores. Uma experimentação mais descomplexada e mais conceptual, uma oportunidade de conceber um projecto real, possível, um guião para uma futura intervenção, quem sabe, e que vem fechar o meu ciclo de estudos.In this thesis, "A Memória e a Transformação - A Quinta do Bom Gosto", I present a proposition for the restoration of a beautiful farm in Northern Portugal, near the Lima river. The development of the design is supported by a theoretical reflection, a set of theories and methodologies, in which different ideas and projectual paths intersect and relate to each other, aiming to clarify different methods of designing, instruments and operational tools. It is sought to undertake the project of restoration and transformation of a group of buildings with huge architectural and historic interest, Bom Gosto Estate, in Ponte de Lima, built in the end of the 19th century. The objective of this work is to find an adequate answer in the form of a project, based on a deep theoretical reflection and grounded in the historical interpretation of the setting and existing buildings. It's assumed that consistency and accuracy must underlie all tangible architectural designs and so this proposal is based on investigation and theoretical analyses. Thus, in a sort of intersection, the object of study leads to the theoretical research and the theory sets questions to the project. It's an exercise, an essay, which derives from a theme seldom studied in my course of studies - the intervention in historical buildings. So, in this way, this thesis seeks to deepen knowledge and contents that stimulate conscience while designing on the pre-existing. How can one deal with and solve this exercise? Which method will be more accurate? Restore? Substitute? Demolish? Expand? Conserve? Redraw? Preserve? The dissertation is divided into three parts. The first ,"Transforming Memory" presents a historical guideline on the topic of intervention on patrimony, a historical synthesis of different restoration theories and intervening approaches, placing the emphasis on the end of the 19th and the twentieth centuries. In the second chapter "Projecting Transformation", an attentive look upon four works of four different architects: two of them Portuguese - Álvaro Siza e Eduardo Souto de Moura - and two British - David Chipperfield and John Pawson. We have here an approach to different projecting procedures and working methods through the analyses of their choices while intervening in existent buildings, the way new architecture transforms what is ancient, how it accepts or dismisses the challenge of tradition, which references are used and how the solutions come about. The third, and last, chapter, "Memory and the Bom Gosto Estate Project", consists of designing a consistent project based on the reflections presented in the previous chapters. It's a less complex and more conceptual experiment, an opportunity to design something real, feasible, a script for a future intervention - who knows - and which concludes my cycle of studies