“What does my classifier learn?” : A visual approach to understanding natural language text classifiers

Neural Networks have been utilized to solve various tasks such as image recognition, text classification, and machine translation and have achieved exceptional results in many of these tasks. However, understanding the inner workings of neural networks and explaining why a certain output is produced are no trivial tasks. Especially when dealing with text classification problems, an approach to explain network decisions may greatly increase the acceptance of neural network supported tools. In this paper, we present an approach to visualize reasons why a classification outcome is produced by convolutional neural networks by tracing back decisions made by the network. The approach is applied to various text classification problems, including our own requirements engineering related classification problem. We argue that by providing these explanations in neural network supported tools, users will use such tools with more confidence and also may allow the tool to do certain tasks automatically

Análisis de las técnicas de aprendizaje automático aplicadas en la ingeniería de requerimientos de software: un mapeo sistemático de la literatura

En este trabajo se presenta un mapeo sistemático de la literatura, a los fines de proporcionar una revisión comprensiva de las investigaciones que deta-lan la aplicación de las técnicas de Aprendizaje Automático (AA) en el área de Ingeniería de Requerimientos (IR) para enriquecer técnicas y procedimientos tradicionales. Los resultados obtenidos destacan propuestas alentadoras orientadas principalmente, a la predicción de fallas y clasificación de los requisitos de software. Sin embargo, se detectó que los estudios que utilizan técnicas de AA en sus propuestas, aún precisan de una mayor validación empírica para ser ampliamente aceptadas y aplicadas en entornos de desarrollo de software. Consecuentemente, esta situación denota la necesidad de continuar investigando y profundizando sobre posibles aplicaciones del AA en el área de IR.Sociedad Argentina de Informática e Investigación Operativ

Análisis de las técnicas de aprendizaje automático aplicadas en la ingeniería de requerimientos de software: un mapeo sistemático de la literatura

En este trabajo se presenta un mapeo sistemático de la literatura, a los fines de proporcionar una revisión comprensiva de las investigaciones que deta-lan la aplicación de las técnicas de Aprendizaje Automático (AA) en el área de Ingeniería de Requerimientos (IR) para enriquecer técnicas y procedimientos tradicionales. Los resultados obtenidos destacan propuestas alentadoras orientadas principalmente, a la predicción de fallas y clasificación de los requisitos de software. Sin embargo, se detectó que los estudios que utilizan técnicas de AA en sus propuestas, aún precisan de una mayor validación empírica para ser ampliamente aceptadas y aplicadas en entornos de desarrollo de software. Consecuentemente, esta situación denota la necesidad de continuar investigando y profundizando sobre posibles aplicaciones del AA en el área de IR.Sociedad Argentina de Informática e Investigación Operativ

Explainable software systems: from requirements analysis to system evaluation

The growing complexity of software systems and the influence of software-supported decisions in our society sparked the need for software that is transparent, accountable, and trustworthy. Explainability has been identified as a means to achieve these qualities. It is recognized as an emerging non-functional requirement (NFR) that has a significant impact on system quality. Accordingly, software engineers need means to assist them in incorporating this NFR into systems. This requires an early analysis of the benefits and possible design issues that arise from interrelationships between different quality aspects. However, explainability is currently under-researched in the domain of requirements engineering, and there is a lack of artifacts that support the requirements engineering process and system design. In this work, we remedy this deficit by proposing four artifacts: a definition of explainability, a conceptual model, a knowledge catalogue, and a reference model for explainable systems. These artifacts should support software and requirements engineers in understanding the definition of explainability and how it interacts with other quality aspects. Besides that, they may be considered a starting point to provide practical value in the refinement of explainability from high-level requirements to concrete design choices, as well as on the identification of methods and metrics for the evaluation of the implemented requirements

Explainable software systems: from requirements analysis to system evaluation

The growing complexity of software systems and the influence of software-supported decisions in our society sparked the need for software that is transparent, accountable, and trustworthy. Explainability has been identified as a means to achieve these qualities. It is recognized as an emerging non-functional requirement (NFR) that has a significant impact on system quality. Accordingly, software engineers need means to assist them in incorporating this NFR into systems. This requires an early analysis of the benefits and possible design issues that arise from interrelationships between different quality aspects. However, explainability is currently under-researched in the domain of requirements engineering, and there is a lack of artifacts that support the requirements engineering process and system design. In this work, we remedy this deficit by proposing four artifacts: a definition of explainability, a conceptual model, a knowledge catalogue, and a reference model for explainable systems. These artifacts should support software and requirements engineers in understanding the definition of explainability and how it interacts with other quality aspects. Besides that, they may be considered a starting point to provide practical value in the refinement of explainability from high-level requirements to concrete design choices, as well as on the identification of methods and metrics for the evaluation of the implemented requirements

Klassifikation von Anforderungen und Informationen zur Unterstützung von Qualitätssicherungsprozessen

Anforderungsdokumente werden im Anforderungsmanagement verwendet, um Eigenschaften und Verhalten von Systemen zu dokumentieren. In der Automobilindustrie werden diese Dokumente verwendet, um die von Zulieferern zu fertigenden Komponenten zu beschreiben und um für die Kommunikation zwischen Zulieferer und Konzern eine rechtliche Grundlage zu schaffen. Daher müssen diese Dokumente diversen Qualitätsstandards und Qualitätsrichtlinien entsprechen. In manuellen Reviews werden Anforderungsdokumente gegen diese Richtlinien geprüft. Eine Richtlinie besagt, dass in Anforderungsdokumenten eine klare Trennung zwischen rechtlich verbindlichen Anforderungen und sogenannten Zusatzinformationen (Abbildungen, Erläuterungen, Beispiele, Verweise, etc.) existieren muss. Dazu wird jedes Objekt entsprechend dem Inhalt mit einem Objekttyp annotiert. Die Überprüfung der Korrektheit des Objekttyps ist ein zeitaufwändiger und fehleranfälliger Prozess, da Anforderungsdokumente in der Regel mehrere tausend Objekte umfassen. In dieser Arbeit wird am Beispiel des Reviews des Objekttyps untersucht, ob und in welcher Art und Weise der Reviewprozess durch den Einsatz von maschinellem Lernen unterstützt werden kann. Dazu wird zuerst ein Klassifikator trainiert, der in der Lage ist, zwischen Anforderungen und Zusatzinformationen zu unterscheiden. Ein darauf basierendes Werkzeug ist in der Lage, Anwender bei der Überprüfung des Objekttyps durch Hinweise und Warnungen zu unterstützten. In empirischen Studien wird untersucht, ob Anwender durch den Einsatz des Werkzeugs das Review von Anforderungsdokumenten besser durchführen können. Die Ergebnisse zeigen, dass Anwender nicht nur mehr falsch klassifizierte Objekte finden, sondern auch durchschnittlich 60% der für das Review verwendeten Zeit einsparen können. Durch die Übertragung des Ansatzes auf ein weiteres Klassifikationsproblem wird zudem gezeigt, dass der Einsatz von Werkzeugen nicht nur auf den Anwendungsfall Objekttypklassifikation beschränkt ist, sondern potenziell auf viele weitere zu überprüfende Richtlinien übertragbar ist