19,216 research outputs found
LIMEtree: Interactively Customisable Explanations Based on Local Surrogate Multi-output Regression Trees
Systems based on artificial intelligence and machine learning models should
be transparent, in the sense of being capable of explaining their decisions to
gain humans' approval and trust. While there are a number of explainability
techniques that can be used to this end, many of them are only capable of
outputting a single one-size-fits-all explanation that simply cannot address
all of the explainees' diverse needs. In this work we introduce a
model-agnostic and post-hoc local explainability technique for black-box
predictions called LIMEtree, which employs surrogate multi-output regression
trees. We validate our algorithm on a deep neural network trained for object
detection in images and compare it against Local Interpretable Model-agnostic
Explanations (LIME). Our method comes with local fidelity guarantees and can
produce a range of diverse explanation types, including contrastive and
counterfactual explanations praised in the literature. Some of these
explanations can be interactively personalised to create bespoke, meaningful
and actionable insights into the model's behaviour. While other methods may
give an illusion of customisability by wrapping, otherwise static, explanations
in an interactive interface, our explanations are truly interactive, in the
sense of allowing the user to "interrogate" a black-box model. LIMEtree can
therefore produce consistent explanations on which an interactive exploratory
process can be built
Opening the black-box of artificial intelligence predictions on clinical decision support systems
Cardiovascular diseases are the leading global death cause. Their treatment and prevention
rely on electrocardiogram interpretation, which is dependent on the physician’s variability.
Subjectiveness is intrinsic to electrocardiogram interpretation and hence, prone to
errors. To assist physicians in making precise and thoughtful decisions, artificial intelligence
is being deployed to develop models that can interpret extent datasets and provide
accurate decisions. However, the lack of interpretability of most machine learning models
stands as one of the drawbacks of their deployment, particularly in the medical domain.
Furthermore, most of the currently deployed explainable artificial intelligence methods
assume independence between features, which means temporal independence when dealing
with time series. The inherent characteristic of time series cannot be ignored as it
carries importance for the human decision making process.
This dissertation focuses on the explanation of heartbeat classification using several
adaptations of state-of-the-art model-agnostic methods, to locally explain time series classification.
To address the explanation of time series classifiers, a preliminary conceptual
framework is proposed, and the use of the derivative is suggested as a complement to
add temporal dependency between samples. The results were validated on an extent
public dataset, through the 1-D Jaccard’s index, which consists of the comparison of the
subsequences extracted from an interpretable model and the explanation methods used.
Secondly, through the performance’s decrease, to evaluate whether the explanation fits
the model’s behaviour. To assess models with distinct internal logic, the validation was
conducted on a more transparent model and more opaque one in both binary and multiclass
situation. The results show the promising use of including the signal’s derivative
to introduce temporal dependency between samples in the explanations, for models with
simpler internal logic.As doenças cardiovasculares são, a nível mundial, a principal causa de morte e o seu
tratamento e prevenção baseiam-se na interpretação do electrocardiograma. A interpretação
do electrocardiograma, feita por médicos, é intrinsecamente subjectiva e, portanto,
sujeita a erros. De modo a apoiar a decisão dos médicos, a inteligência artificial está a ser
usada para desenvolver modelos com a capacidade de interpretar extensos conjuntos de
dados e fornecer decisões precisas. No entanto, a falta de interpretabilidade da maioria
dos modelos de aprendizagem automática é uma das desvantagens do recurso à mesma,
principalmente em contexto clínico. Adicionalmente, a maioria dos métodos inteligência
artifical explicável assumem independência entre amostras, o que implica a assunção de
independência temporal ao lidar com séries temporais. A característica inerente das séries
temporais não pode ser ignorada, uma vez que apresenta importância para o processo de
tomada de decisão humana.
Esta dissertação baseia-se em inteligência artificial explicável para tornar inteligível
a classificação de batimentos cardíacos, através da utilização de várias adaptações de
métodos agnósticos do estado-da-arte. Para abordar a explicação dos classificadores de
séries temporais, propõe-se uma taxonomia preliminar, e o uso da derivada como um
complemento para adicionar dependência temporal entre as amostras. Os resultados foram
validados para um conjunto extenso de dados públicos, por meio do índice de Jaccard
em 1-D, com a comparação das subsequências extraídas de um modelo interpretável e os
métodos inteligência artificial explicável utilizados, e a análise de qualidade, para avaliar
se a explicação se adequa ao comportamento do modelo. De modo a avaliar modelos com
lógicas internas distintas, a validação foi realizada usando, por um lado, um modelo mais
transparente e, por outro, um mais opaco, tanto numa situação de classificação binária
como numa situação de classificação multiclasse. Os resultados mostram o uso promissor
da inclusão da derivada do sinal para introduzir dependência temporal entre as amostras
nas explicações fornecidas, para modelos com lógica interna mais simples
- …