Integration of Multi-criteria Decision Analysis in the Evaluation Process of Interactive Adaptive Systems based on ISO/IEC 25040 Standard

Abstract

During the evaluation process of Interactive Adaptive Systems (IAS), there are some tasks that require making decisions in favor of the appropriate solution(s) out of several decision options that can be available. Numerous influencing factors should be considered surrounding these tasks. The aim of this thesis consists in supporting decision-making during the evaluation process of interactive adaptive systems, based on the international standard ISO/IEC 25040. In this way, a multi-criteria decision analysis approach and a Web-based multi-criteria decision support system are proposed in order to support a decision aid for a range of different possible stakeholders involved in the evaluation process. Firstly, the priorities of evaluation (sub)attributes to be assessed are identified. Then, the appropriate evaluation method(s) for the layered evaluation and the evaluation as a whole are proposed. Finally, we have investigated the application of our proposal through a case study following this evaluation processLors du processus d'évaluation des Systèmes Interactifs Adaptatifs (SIA), il existe certaines tâches qui nécessitent d'effectuer un choix d'une ou plusieurs solutions appropriées. Divers facteurs peuvent influencer ces décisions. L'objectif de cette thèse consiste à aider différents intervenants impliqués dans le processus d'évaluation à prendre des décisions appropriées en se basant sur la norme ISO/IEC 25040. Dans ce cadre, nous proposons une approche d'aide à la décision multicritère, ainsi qu'un système d'aide à la décision multicritère basé sur le Web. D’abord, nous nous intéressons à l’identification des niveaux de priorité des (sous)attributs d'évaluation qui doivent être évalués dans les SIA. Par la suite, nous nous focalisons sur la sélection des méthodes appropriées pour l'évaluation structurée et l'évaluation traditionnelle. De plus, nous proposons un processus d'évaluation adapté aux SIA, basé sur la norme ISO/IEC 25040. Enfin, un système interactif adaptatif dans le domaine du transport est étudié afin de valider notre proposition en se basant sur ce processus d'évaluation