Producing Decisions and Explanations: A Joint Approach Towards Explainable CNNs

Deep Learning models, in particular Convolutional Neural Networks, have become the state-of-the-art in different domains, such as image classification, object detection and other computer vision tasks. However, despite their overwhelming predictive performance, they are still, for the most part, considered black-boxes, making it difficult to understand the reasoning behind their outputted decisions. As such, and with the growing interest in deploying such models into real world scenarios, the need for explainable systems has arisen. Therefore, this dissertation tries to mitigate this growing need, by proposing a novel CNN architecture, composed of an explainer and a classifier. The network, trained end-to-end, constitutes an in-model explainability method, that not only outputs decisions as well as visual explanations of what the network is focusing on to produce such decisions

DeViL: Decoding Vision features into Language

Post-hoc explanation methods have often been criticised for abstracting away the decision-making process of deep neural networks. In this work, we would like to provide natural language descriptions for what different layers of a vision backbone have learned. Our DeViL method decodes vision features into language, not only highlighting the attribution locations but also generating textual descriptions of visual features at different layers of the network. We train a transformer network to translate individual image features of any vision layer into a prompt that a separate off-the-shelf language model decodes into natural language. By employing dropout both per-layer and per-spatial-location, our model can generalize training on image-text pairs to generate localized explanations. As it uses a pre-trained language model, our approach is fast to train, can be applied to any vision backbone, and produces textual descriptions at different layers of the vision network. Moreover, DeViL can create open-vocabulary attribution maps corresponding to words or phrases even outside the training scope of the vision model. We demonstrate that DeViL generates textual descriptions relevant to the image content on CC3M surpassing previous lightweight captioning models and attribution maps uncovering the learned concepts of the vision backbone. Finally, we show DeViL also outperforms the current state-of-the-art on the neuron-wise descriptions of the MILANNOTATIONS dataset. Code available at https://github.com/ExplainableML/DeViLComment: Accepted at GCPR 2023 (Oral

In-Context Impersonation Reveals Large Language Models' Strengths and Biases

In everyday conversations, humans can take on different roles and adapt their vocabulary to their chosen roles. We explore whether LLMs can take on, that is impersonate, different roles when they generate text in-context. We ask LLMs to assume different personas before solving vision and language tasks. We do this by prefixing the prompt with a persona that is associated either with a social identity or domain expertise. In a multi-armed bandit task, we find that LLMs pretending to be children of different ages recover human-like developmental stages of exploration. In a language-based reasoning task, we find that LLMs impersonating domain experts perform better than LLMs impersonating non-domain experts. Finally, we test whether LLMs' impersonations are complementary to visual information when describing different categories. We find that impersonation can improve performance: an LLM prompted to be a bird expert describes birds better than one prompted to be a car expert. However, impersonation can also uncover LLMs' biases: an LLM prompted to be a man describes cars better than one prompted to be a woman. These findings demonstrate that LLMs are capable of taking on diverse roles and that this in-context impersonation can be used to uncover their hidden strengths and biases

Gramática derivacional do português

Nesta Gramática Derivacional descrevem-se os mecanismos, os recursos e os produtos de formação de palavras do português contemporâneo, usando uma linguagem acessível mas assente em aturada investigação por parte dos seus autores, docentes universitários com larga experiência em pesquisa sobre o léxico. Com base nos dados do português europeu e em alguns do português do Brasil, percorrem-se os processos de sufixação (construção de nomes, de adjetivos e de verbos), de prefixação, de composição (erudita e vernácula) e de construção não concatenativa (cruzamento, truncação, siglação, acronímia). A morfologia e a semântica das palavras construídas - sejam isocategoriais ou heterocategoriais - são analisadas tendo em conta as bases que as compõem, os afixos que nelas ocorrem, os processos e as restrições de combinatória, e as áreas denotacionais dos produtos. Precede a descrição dos diferentes paradigmas um capítulo de apresentação dos conceitos básicos e de enquadramento teórico

Gramática derivacional do português

Nesta Gramática Derivacional descrevem-se os mecanismos, os recursos e os produtos de formação de palavras do português contemporâneo, usando uma linguagem acessível mas assente em aturada investigação por parte dos seus autores, docentes universitários com larga experiência em pesquisa sobre o léxico. Com base nos dados do português europeu e em alguns do português do Brasil, percorrem-se os processos de sufixação (construção de nomes, de adjetivos e de verbos), de prefixação, de composição (erudita e vernácula) e de construção não concatenativa (cruzamento, truncação, siglação, acronímia). A morfologia e a semântica das palavras construídas - sejam isocategoriais ou heterocategoriais - são analisadas tendo em conta as bases que as compõem, os afixos que nelas ocorrem, os processos e as restrições de combinatória, e as áreas denotacionais dos produtos. Precede a descrição dos diferentes paradigmas um capítulo de apresentação dos conceitos básicos e de enquadramento teórico

Gramática derivacional do Português

Nesta Gramática Derivacional descrevem-se os mecanismos, os recursos e os produtos de formação de palavras do português contemporâneo, usando uma linguagem acessível mas assente em aturada investigação por parte dos seus autores, docentes universitários com larga experiência em pesquisa sobre o léxico. Com base nos dados do português europeu e em alguns do português do Brasil, percorrem-se os processos de sufixação (construção de nomes, de adjetivos e de verbos), de prefixação, de composição (erudita e vernácula) e de construção não concatenativa (cruzamento, truncação, siglação, acronímia).A morfologia e a semântica das palavras construídas - sejam isocategoriais ou heterocategoriais - são analisadas tendo em conta as bases que as compõem, os afixos que nelas ocorrem, os processos e as restrições de combinatória, e as áreas denotacionais dos produtos. Precede a descrição dos diferentes paradigmas um capítulo de apresentação dos conceitos básicos e de enquadramento teórico

Hybrid Quality Inspection for the Automotive Industry: Replacing the Paper-Based Conformity List through Semi-Supervised Object Detection and Simulated Data

The still prevalent use of paper conformity lists in the automotive industry has a serious negative impact on the performance of quality control inspectors. We propose instead a hybrid quality inspection system, where we combine automated detection with human feedback, to increase worker performance by reducing mental and physical fatigue, and the adaptability and responsiveness of the assembly line to change. The system integrates the hierarchical automatic detection of the non-conforming vehicle parts and information visualization on a wearable device to present the results to the factory worker and obtain human confirmation. Besides designing a novel 3D vehicle generator to create a digital representation of the non conformity list and to collect automatically annotated training data, we apply and aggregate in a novel way state-of-the-art domain adaptation and pseudo labeling methods to our real application scenario, in order to bridge the gap between the labeled data generated by the vehicle generator and the real unlabeled data collected on the factory floor. This methodology allows us to obtain, without any manual annotation of the real dataset, an example-based F1 score of 0.565 in an unconstrained scenario and 0.601 in a fixed camera setup (improvements of 11 and 14.6 percentage points, respectively, over a baseline trained with purely simulated data). Feedback obtained from factory workers highlighted the usefulness of the proposed solution, and showed that a truly hybrid assembly line, where machine and human work in symbiosis, increases both efficiency and accuracy in automotive quality control

A investigação em fonologia do português Research in Portuguese phonology

Neste artigo pretende-se traçar uma panorâmica dos estudos de fonologia realizados em Portugal, com especial incidência nas análises formalizadas que se desenvolveram a partir da obra de Chomsky e Halle (1968). Na Introdução referem-se obras que marcaram a fonologia do Português Europeu antes dessa data, e apresentam-se os principais trabalhos de carácter dialectal e filológico, os estudos fonéticos e as obras que se integram na linguística estrutural. Na apresentação das análises formais distingue-se a fonologia generativa clássica das teorias que lhe sucederam O artigo tem um anexo que contém a bibliografia exaustiva dos livros e artigos publicados em Portugal a partir dos anos 70.<br>This paper is an overview of the phonological studies in Portuguese starting with the formal analyses developed in Portugal after the publication of The Sound Pattern of English (1968). The relevant works on European Portuguese published before Chomsky & Halle are included in the Introduction: the most important dialectal and philological works, phonetic studies as well as structural descriptions. Formal analyses are divided in two parts: those that follow standard generative phonology and those oriented by subsequent theories. The annex includes a comprehensive bibliography of all phonological books and papers published in Portugal after the seventies