Broadening the Horizon of Adversarial Attacks in Deep Learning

152 p.Los modelos de Aprendizaje Automático como las Redes Neuronales Profundas son actualmente el núcleo de una amplia gama de tecnologías aplicadas en tareas críticas, como el reconocimiento facial o la conducción autónoma, en las que tanto la capacidad predictiva como la fiabilidad son requisitos fundamentales. Sin embargo, estos modelos pueden ser fácilmente engañados por inputs manipulados deforma imperceptible para el ser humano, denominados ejemplos adversos (adversarial examples), lo que implica una brecha de seguridad que puede ser explotada por un atacante con fines ilícitos. Dado que estas vulnerabilidades afectan directamente a la integridad y fiabilidad de múltiples sistemas que,progresivamente, están siendo desplegados en aplicaciones del mundo real, es crucial determinar el alcance de dichas vulnerabilidades para poder garantizar así un uso más responsable, informado y seguro de esos sistemas. Por estos motivos, esta tesis doctoral tiene como objetivo principal investigar nuevas nociones de ataques adversos y vulnerabilidades en las Redes Neuronales Profundas. Como resultado de esta investigación, a lo largo de esta tesis se exponen nuevos paradigmas de ataque que exceden o amplían las capacidades de los métodos actualmente disponibles en la literatura, ya que son capaces de alcanzar objetivos más generales, complejos o ambiciosos. Al mismo tiempo, se exponen nuevas brechas de seguridad en casos de uso y escenarios en los que las consecuencias de los ataques adversos no habían sido investigadas con anterioridad. Nuestro trabajo también arroja luz sobre diferentes propiedades de estos modelos que los hacen más vulnerables a los ataques adversos, contribuyendo a una mejor comprensión de estos fenómenos

On the human evaluation of universal audio adversarial perturbations

[EN] Human-machine interaction is increasingly dependent on speech communication, mainly due to the remarkable performance of Machine Learning models in speech recognition tasks. However, these models can be fooled by adversarial examples, which are inputs in-tentionally perturbed to produce a wrong prediction without the changes being noticeable to humans. While much research has focused on developing new techniques to generate adversarial perturbations, less attention has been given to aspects that determine whether and how the perturbations are noticed by humans. This question is relevant since high fool-ing rates of proposed adversarial perturbation strategies are only valuable if the perturba-tions are not detectable. In this paper we investigate to which extent the distortion metrics proposed in the literature for audio adversarial examples, and which are commonly applied to evaluate the effectiveness of methods for generating these attacks, are a reliable mea-sure of the human perception of the perturbations. Using an analytical framework, and an experiment in which 36 subjects evaluate audio adversarial examples according to different factors, we demonstrate that the metrics employed by convention are not a reliable measure of the perceptual similarity of adversarial examples in the audio domain.This work was supported by the Basque Government (PRE_2019_1_0128 predoctoral grant, IT1244-19 and project KK-2020/00049 through the ELKARTEK program); the Spanish Ministry of Economy and Competitiveness MINECO (projects TIN2016-78365-R and PID2019-104966GB-I00); and the Spanish Ministry of Science, Innovation and Universities (FPU19/03231 predoctoral grant). The authors would also like to thank to the Intelligent Systems Group (University of the Basque Country UPV/EHU, Spain) for providing the computational resources needed to develop the project, as well as to all the participants that took part in the experiments

Extending Adversarial Attacks to Produce Adversarial Class Probability Distributions

Despite the remarkable performance and generalization levels of deep learning models in a wide range of artificial intelligence tasks, it has been demonstrated that these models can be easily fooled by the addition of imperceptible but malicious perturbations to natural inputs. These altered inputs are known in the literature as adversarial examples. In this paper we propose a novel probabilistic framework to generalize and extend adversarial attacks in order to produce a desired probability distribution for the classes when we apply the attack method to a large number of inputs. This novel attack strategy provides the attacker with greater control over the target model, and increases the complexity of detecting that the model is being attacked. We introduce three different strategies to efficiently generate such attacks, and illustrate our approach extending DeepFool, a state-of-the-art attack algorithm to generate adversarial examples. We also experimentally validate our approach for the spoken command classification task, an exemplary machine learning problem in the audio domain. Our results demonstrate that we can closely approximate any probability distribution for the classes while maintaining a high fooling rate and by injecting imperceptible perturbations to the inputs.Comment: 13 pages, 7 figures, 2 tables, 2 algorithm

Procesado y análisis de datos procedentes de una máquina de extrusión de polímeros

Este Trabajo de Fin de Grado se circunscribe dentro de un proyecto real más amplio, desarrollado en el entorno de la Industria 4.0. El objetivo principal del TFG consiste en realizar, a modo de prueba de concepto, un análisis de datos procedentes de una máquina de extrusión de polímeros, con la finalidad de mostrar la viabilidad y el interés de la aplicación de recursos computacionales enfocados a la fabricación avanzada. Para ello, en primer lugar, se han seleccionado, implementado y validado múltiples técnicas de preprocesado para el tratamiento inicial de los datos. En segundo lugar, se ha analizado, de manera experimental, el comportamiento de diversos modelos de minería de datos en diferentes escenarios, con la finalidad de evaluar el potencial del uso de estos recursos. Por último, tras describir las aportaciones más relevantes, se proponen varias vías de mejora y líneas futuras abiertas que faciliten el desarrollo de objetivos más ambiciosos a largo plazo

When and How to Fool Explainable Models (and Humans) with Adversarial Examples

Reliable deployment of machine learning models such as neural networks continues to be challenging due to several limitations. Some of the main shortcomings are the lack of interpretability and the lack of robustness against adversarial examples or out-of-distribution inputs. In this paper, we explore the possibilities and limits of adversarial attacks for explainable machine learning models. First, we extend the notion of adversarial examples to fit in explainable machine learning scenarios, in which the inputs, the output classifications and the explanations of the model's decisions are assessed by humans. Next, we propose a comprehensive framework to study whether (and how) adversarial examples can be generated for explainable models under human assessment, introducing novel attack paradigms. In particular, our framework considers a wide range of relevant (yet often ignored) factors such as the type of problem, the user expertise or the objective of the explanations in order to identify the attack strategies that should be adopted in each scenario to successfully deceive the model (and the human). These contributions intend to serve as a basis for a more rigorous and realistic study of adversarial examples in the field of explainable machine learning.Comment: 12 pages, 1 figur

Procesado y análisis de datos procedentes de una máquina de extrusión de polímeros

Este Trabajo de Fin de Grado se circunscribe dentro de un proyecto real más amplio, desarrollado en el entorno de la Industria 4.0. El objetivo principal del TFG consiste en realizar, a modo de prueba de concepto, un análisis de datos procedentes de una máquina de extrusión de polímeros, con la finalidad de mostrar la viabilidad y el interés de la aplicación de recursos computacionales enfocados a la fabricación avanzada. Para ello, en primer lugar, se han seleccionado, implementado y validado múltiples técnicas de preprocesado para el tratamiento inicial de los datos. En segundo lugar, se ha analizado, de manera experimental, el comportamiento de diversos modelos de minería de datos en diferentes escenarios, con la finalidad de evaluar el potencial del uso de estos recursos. Por último, tras describir las aportaciones más relevantes, se proponen varias vías de mejora y líneas futuras abiertas que faciliten el desarrollo de objetivos más ambiciosos a largo plazo

Aprendizaje basado en proyectos usando metodologías ágiles para una asignatura básica de Ingeniería del Software

En este trabajo se presenta el proyecto docente de la asignatura Ingeniería del Software I (segundo curso, segundo cuatrimestre) siguiendo la metodología del Aprendizaje Basado en Proyectos (ABP) utilizando metodologías ágiles. Nuestra hipótesis se basa en que estas metodologías recogen en su propia esencia los fundamentos del ABP, y por tanto, su correcta utilización garantizan los beneficios de este enfoque. Para su implementación, proponemos el desarrollo de un proyecto software siguiendo el proceso unificado de desarrollo software (UP) utilizando SCRUM como metodología ágil. El enfoque iterativo e incremental de esta metodología nos permite presentar de manera natural conceptos más complejos a medida que va evolucionando el proyecto. El desarrollo del proyecto se realizará en tres iteraciones o sprints, donde en cada iteración se van añadiendo nuevos requisitos que implican el estudio de nuevos objetivos de aprendizaje. La realización del proyecto comienza prácticamente el primer día de clase, y su evaluación supone el 75% de la calificación final. Para finalizar, presentamos los resultados y conclusiones obtenidas utilizando esta metodología después del primer año de su implementación.SUMMARY -- This paper presents the teaching project for the subject Software Engineering I (second year, second semester) based on Project-Based Learning (PBL) methodology. For its implementation, we propose the use of agile techniques widely applied in the software development industry. We believe that agile methodologies do capture the very principles of PBL, and its use can therefore guarantee the acquisition of the proposed learning goals. During the course, students will develop a project using the unified software development process, or simply Unified Process (UP), encompassed in the agile methodology SCRUM. The elaboration of the project will be undertaken in teams that will need to explore the appropriate modelling tools and implementation technologies along three successive iterations or sprints. The project will be in place almost from the first day of class, and its assessment will compute for a 75% of the final grade. Additionally, the iterative structure of the project development will entail an incremental learning framework that results especially useful to assimilate the concepts involved in Software Engineering

Detección de la enfermedad de Alzheimer en base a volúmenes de regiones cerebrales

Este proyecto tiene como objetivo reducir el proceso necesario para la detección del Alzheimer, para lograr este objetivo, se ha intentado desarrollar una herramienta que a través del aprendizaje automático y utilizando la información volumétrica extraída de resonancias magnéticas, permita un diagnóstico fiable del Alzheimer