PSA based multi objective evolutionary algorithms

It has generally been acknowledged that both proximity to the Pareto front and a certain diversity along the front, should be targeted when using evolutionary multiobjective optimization. Recently, a new partitioning mechanism, the Part and Select Algorithm (PSA), has been introduced. It was shown that this partitioning allows for the selection of a well-diversified set out of an arbitrary given set, while maintaining low computational cost. When embedded into an evolutionary search (NSGA-II), the PSA has significantly enhanced the exploitation of diversity. In this paper, the ability of the PSA to enhance evolutionary multiobjective algorithms (EMOAs) is further investigated. Two research directions are explored here. The first one deals with the integration of the PSA within an EMOA with a novel strategy. Contrary to most EMOAs, that give a higher priority to proximity over diversity, this new strategy promotes the balance between the two. The suggested algorithm allows some dominated solutions to survive, if they contribute to diversity. It is shown that such an approach substantially reduces the risk of the algorithm to fail in finding the Pareto front. The second research direction explores the use of the PSA as an archiving selection mechanism, to improve the averaged Hausdorff distance obtained by existing EMOAs. It is shown that the integration of the PSA into NSGA-II-I and Δ p -EMOA as an archiving mechanism leads to algorithms that are superior to base EMOAS on problems with disconnected Pareto fronts. © 2014 Springer International Publishing Switzerland

SCALE: Online Self-Supervised Lifelong Learning without Prior Knowledge

Unsupervised lifelong learning refers to the ability to learn over time while memorizing previous patterns without supervision. Previous works assumed strong prior knowledge about the incoming data (e.g., knowing the class boundaries) which can be impossible to obtain in complex and unpredictable environments. In this paper, motivated by real-world scenarios, we formally define the online unsupervised lifelong learning problem with class-incremental streaming data, which is non-iid and single-pass. The problem is more challenging than existing lifelong learning problems due to the absence of labels and prior knowledge. To address the issue, we propose Self-Supervised ContrAstive Lifelong LEarning (SCALE) which extracts and memorizes knowledge on-the-fly. SCALE is designed around three major components: a pseudo-supervised contrastive loss, a self-supervised forgetting loss, and an online memory update for uniform subset selection. All three components are designed to work collaboratively to maximize learning performance. Our loss functions leverage pairwise similarity thus remove the dependency on supervision or prior knowledge. We perform comprehensive experiments of SCALE under iid and four non-iid data streams. SCALE outperforms the best state-of-the-art algorithm on all settings with improvements of up to 3.83%, 2.77% and 5.86% kNN accuracy on CIFAR-10, CIFAR-100 and SubImageNet datasets.Comment: Submitted for revie

A Generalized Probabilistic Learning Approach for Multi-Fidelity Uncertainty Propagation in Complex Physical Simulations

Two of the most significant challenges in uncertainty propagation pertain to the high computational cost for the simulation of complex physical models and the high dimension of the random inputs. In applications of practical interest both of these problems are encountered and standard methods for uncertainty quantification either fail or are not feasible. To overcome the current limitations, we propose a probabilistic multi-fidelity framework that can exploit lower-fidelity model versions of the original problem in a small data regime. The approach circumvents the curse of dimensionality by learning dependencies between the outputs of high-fidelity models and lower-fidelity models instead of explicitly accounting for the high-dimensional inputs. We complement the information provided by a low-fidelity model with a low-dimensional set of informative features of the stochastic input, which are discovered by employing a combination of supervised and unsupervised dimensionality reduction techniques. The goal of our analysis is an efficient and accurate estimation of the full probabilistic response for a high-fidelity model. Despite the incomplete and noisy information that low-fidelity predictors provide, we demonstrate that accurate and certifiable estimates for the quantities of interest can be obtained in the small data regime, i.e., with significantly fewer high-fidelity model runs than state-of-the-art methods for uncertainty propagation. We illustrate our approach by applying it to challenging numerical examples such as Navier-Stokes flow simulations and monolithic fluid-structure interaction problems.Comment: 31 pages, 14 figure

Two-stage methods for multimodal optimization

Für viele praktische Optimierungsprobleme ist es ratsam nicht nur eine einzelne optimale Lösung zu suchen, sondern eine Menge von Lösungen die gut und untereinander verschieden sind. Die Argumentation hinter dieser Meinung ist, dass ein Entscheidungsträger möglicherweise nachträglich zusätzliche Kriterien einbringen möchte, die nicht im Optimierungsproblem enthalten waren. Gründe für die Nichtberücksichtigung im Optimierungsproblem sind zum Beispiel dass das notwendige Expertenwissen noch nicht formalisiert wurde, oder dass die Bewertung der Zusatzkriterien mehr oder weniger subjektiv abläuft. Das Forschungsgebiet für diese einkriteriellen Optimierungsprobleme mit Bedarf für eine Menge von mehreren Lösungen wird momentan mit dem Begriff multimodale Optimierung umschrieben. In dieser Arbeit wenden wir zweistufige Optimieralgorithmen, die aus sich abwechselnden globalen und lokalen Komponenten bestehen, auf diese Probleme an. Diese Algorithmen sind attraktiv für uns wegen ihrer Einfachheit und ihrer belegten Leistungsfähigkeit auf multimodalen Problemen. Das Hauptaugenmerk liegt darauf, die globale Phase zu verbessern, da lokale Suche schon ein gut erforschtes Themengebiet ist. Wir tun dies, indem wir vorher ausgewertete Punkte und bereits bekannte Optima in unserem globalen Samplingalgorithmus berücksichtigen. Unser Ansatz basiert auf der Maximierung der minimalen Distanz in einer Punktmenge, während Kanteneffekte, welche durch die Beschränktheit des Suchraums verursacht werden, durch geeignete Korrekturmaßnahmen verhindert werden. Experimente bestätigen die Überlegenheit dieses Algorithmus gegenüber zufällig gleichverteiltem Sampling und anderen Methoden in diversen Problemstellungen multimodaler Optimierung.For many practical optimization problems it seems advisable to seek not only a single optimal solution, but a diverse set of good solutions. The rationale behind this opinion is that a decision maker may want to consider additional criteria, which are not included in the optimization problem itself. Reasons for not including them are for example that the expert knowledge constituting the additional criteria has not been formalized or that the evaluation of the additional criteria is more or less subjective. The area containing single-objective problems with the need to identify a set of solutions is currently called multimodal optimization. In this work, we apply two-stage optimization algorithms, which consist of alternating global and local searches, to these problems. These algorithms are attractive because of their simplicity and their demonstrated performance on multimodal problems. The main focus is on improving the global stages, as local search is already a thoroughly investigated topic. This is done by considering previously sampled points and found optima in the global sampling, thus obtaining a super-uniform distribution. The approach is based on maximizing the minimal distance in a point set, while boundary effects of the box-constrained search space are avoided by correction methods. Experiments confirm the superiority of this algorithm over random uniform sampling and other methods in various different settings of multimodal optimization

Protection des Infrastructures Essentielles par Advanced Modélisation, simulation et optimisation pour l’atténuation et résilience de défaillance en cascade

Continuously increasing complexity and interconnectedness of modern critical infrastructures, together with increasingly complex risk environments, pose unique challenges for their secure, reliable, and efficient operation. The focus of the present dissertation is on the modelling, simulation and optimization of critical infrastructures (CIs) (e.g., power transmission networks) with respect to their vulnerability and resilience to cascading failures. This study approaches the problem by firstly modelling CIs at a fundamental level, by focusing on network topology and physical flow patterns within the CIs. A hierarchical network modelling technique is introduced for the management of system complexity. Within these modelling frameworks, advanced optimization techniques (e.g., non-dominated sorting binary differential evolution (NSBDE) algorithm) are utilized to maximize both the robustness and resilience (recovery capacity) of CIs against cascading failures. Specifically, the first problem is taken from a holistic system design perspective, i.e. some system properties, such as its topology and link capacities, are redesigned in an optimal way in order to enhance system’s capacity of resisting to systemic failures. Both topological and physical cascading failure models are applied and their corresponding results are compared. With respect to the second problem, a novel framework is proposed for optimally selecting proper recovery actions in order to maximize the capacity of the CI network of recovery from a disruptive event. A heuristic, computationally cheap optimization algorithm is proposed for the solution of the problem, by integrating foundemental concepts from network flows and project scheduling. Examples of analysis are carried out by referring to several realistic CI systems.Sans cesse croissante complexité et l'interdépendance des infrastructures critiques modernes, avec des environs de risque plus en plus complexes, posent des défis uniques pour leur exploitation sûre, fiable et efficace. L'objectif de la présente thèse est sur la modélisation, la simulation et l'optimisation des infrastructures critiques (par exemple, les réseaux de transmission de puissance) à l'égard de leur vulnérabilité et la résilience aux défaillances en cascade. Cette étude aborde le problème en modélisant infrastructures critiques à un niveau fondamental, en se concentrant sur la topologie du réseau et des modèles de flux physiques dans les infrastructures critiques. Un cadre de modélisation hiérarchique est introduit pour la gestion de la complexité du système. Au sein de ces cadres de modélisation, les techniques d'optimisation avancées (par exemple, non-dominée de tri binaire évolution différentielle (NSBDE) algorithme) sont utilisés pour maximiser à la fois la robustesse et la résilience (capacité de récupération) des infrastructures critiques contre les défaillances en cascade. Plus précisément, le premier problème est pris à partir d'un point de vue de la conception du système holistique, c'est-à-dire certaines propriétés du système, tels que ses capacités de topologie et de liaison, sont redessiné de manière optimale afin d'améliorer la capacité de résister à des défaillances systémiques de système. Les deux modèles de défaillance en cascade topologiques et physiques sont appliquées et leurs résultats correspondants sont comparés. En ce qui concerne le deuxième problème, un nouveau cadre est proposé pour la sélection optimale des mesures appropriées de récupération afin de maximiser la capacité du réseau d’infrastructure critique de récupération à partir d'un événement perturbateur. Un algorithme d'optimisation de calcul pas cher heuristique est proposé pour la solution du problème, en intégrant des concepts fondamentaux de flux de réseau et le calendrier du projet. Exemples d'analyse sont effectués en se référant à plusieurs systèmes de CI réalistes

Adaptive Computing Systems for Aerospace

RÉSUMÉ En raison de leur complexité croissante, les systèmes informatiques modernes nécessitent de nouvelles méthodologies permettant d’automatiser leur conception et d’améliorer leurs performances. L’espace, en particulier, constitue un environnement très défavorable au maintien de la performance de ces systèmes : sans protection des rayonnements ionisants et des particules, l’électronique basée sur CMOS peut subir des erreurs transitoires, une dégradation des performances et une usure accélérée causant ultimement une défaillance du système. Les approches traditionnellement adoptees pour garantir la fiabilité du système et prolonger sa durée de vie sont basées sur la redondance, généralement établie durant la conception. En revanche, ces solutions sont coûteuses et parfois inefficaces, puisqu'elles augmentent la taille et la complexité du système, l'exposant à des risques plus élevés de surchauffe et d'erreurs. Les conséquences de ces limites sont d'autant plus importantes lorsqu'elles s’appliquent aux systèmes critiques (e.g., contraintes par le temps ou dont l’accès est limité) qui doivent être en mesure de prendre des décisions sans intervention humaine. Sur la base de ces besoins et limites, le développement en aérospatial de systèmes informatiques avec capacités adaptatives peut être considéré comme la solution la plus appropriée pour les dispositifs intégrés à haute performance. L’informatique auto-adaptative offre un potentiel sans égal pour assurer la création d’une génération d’ordinateurs plus intelligents et fiables. Qui plus est, elle répond aux besoins modernes de concevoir et programmer des systèmes informatiques capables de répondre à des objectifs en conflit. En nous inspirant des domaines de l’intelligence artificielle et des systèmes reconfigurables, nous aspirons à développer des systèmes informatiques auto-adaptatifs pour l’aérospatiale qui répondent aux enjeux et besoins actuels. Notre objectif est d’améliorer l’efficacité de ces systèmes, leur tolerance aux pannes et leur capacité de calcul. Afin d’atteindre cet objectif, une analyse expérimentale et comparative des algorithmes les plus populaires pour l’exploration multi-objectifs de l’espace de conception est d’abord effectuée. Les algorithmes ont été recueillis suite à une revue de la plus récente littérature et comprennent des méthodes heuristiques, évolutives et statistiques. L’analyse et la comparaison de ceux-ci permettent de cerner les forces et limites de chacun et d'ainsi définir des lignes directrices favorisant un choix optimal d’algorithmes d’exploration. Pour la création d’un système d’optimisation autonome—permettant le compromis entre plusieurs objectifs—nous exploitons les capacités des modèles graphiques probabilistes. Nous introduisons une méthodologie basée sur les modèles de Markov cachés dynamiques, laquelle permet d’équilibrer la disponibilité et la durée de vie d’un système multiprocesseur. Ceci est obtenu en estimant l'occurrence des erreurs permanentes parmi les erreurs transitoires et en migrant dynamiquement le calcul sur les ressources supplémentaires en cas de défaillance. La nature dynamique du modèle rend celui-ci adaptable à différents profils de mission et taux d’erreur. Les résultats montrent que nous sommes en mesure de prolonger la durée de vie du système tout en conservant une disponibilité proche du cas idéal. En raison des contraintes de temps rigoureuses imposées par les systèmes aérospatiaux, nous étudions aussi l’optimisation de la tolérance aux pannes en présence d'exigences d’exécution en temps réel. Nous proposons une méthodologie pour améliorer la fiabilité du calcul en présence d’erreurs transitoires pour les tâches en temps réel d’un système multiprocesseur homogène avec des capacités de réglage de tension et de fréquence. Dans ce cadre, nous définissons un nouveau compromis probabiliste entre la consommation d’énergie et la tolérance aux erreurs. Comme nous reconnaissons que la résilience est une propriété d’intérêt omniprésente (par exemple, pour la conception et l’analyse de systems complexes génériques), nous adaptons une définition formelle de celle-ci à un cadre probabiliste dérivé à nouveau de modèles de Markov cachés. Ce cadre nous permet de modéliser de façon réaliste l’évolution stochastique et l’observabilité partielle des phénomènes du monde réel. Nous proposons un algorithme permettant le calcul exact efficace de l’étape essentielle d’inférence laquelle est requise pour vérifier des propriétés génériques. Pour démontrer la flexibilité de cette approche, nous la validons, entre autres, dans le contexte d’un système informatisé reconfigurable pour l’aérospatiale. Enfin, nous étendons la portée de nos recherches vers la robotique et les systèmes multi-agents, deux sujets dont la popularité est croissante en exploration spatiale. Nous abordons le problème de l’évaluation et de l’entretien de la connectivité dans le context distribué et auto-adaptatif de la robotique en essaim. Nous examinons les limites des solutions existantes et proposons une nouvelle méthodologie pour créer des géométries complexes connectées gérant plusieurs tâches simultanément. Des contributions additionnelles dans plusieurs domaines sont résumés dans les annexes, nommément : (i) la conception de CubeSats, (ii) la modélisation des rayonnements spatiaux pour l’injection d’erreur dans FPGA et (iii) l’analyse temporelle probabiliste pour les systèmes en temps réel. À notre avis, cette recherche constitue un tremplin utile vers la création d’une nouvelle génération de systèmes informatiques qui exécutent leurs tâches d’une façon autonome et fiable, favorisant une exploration spatiale plus simple et moins coûteuse.----------ABSTRACT Today's computer systems are growing more and more complex at a pace that requires the development of novel and more effective methodologies to automate their design. Space, in particular, represents a challenging environment: without protection from ionizing and particle radiation, CMOS-based electronics are subject to transients faults, performance degradation, accelerated wear, and, ultimately, system failure. Traditional approaches adopted to guarantee reliability and extended lifetime are based on redundancy that is established at design-time. These solutions are expensive and sometimes inefficient, as they increase the complexity and size of a system, exposing it to higher risks of overheating and incurring in radiation-induced errors. Moreover, critical systems---e.g., time-constrained ones and those where access is limited---must be able to cope with pivotal situations without relying on human intervention. Hence, the emerging interest in computer systems with adaptive capabilities as the most suitable solution for novel high-performance embedded devices for aerospace. Self-adaptive computing carries unmatched potential and great promises for the creation of a new generation of smart, more reliable computers, and it addresses the challenge of designing and programming modern and future computer systems that must meet conflicting goals. Drawing from the fields of artificial intelligence and reconfigurable systems, we aim at developing self-adaptive computer systems for aerospace. Our goal is to improve their efficiency, fault-tolerance, and computational capabilities. The first step in this research is the experimental analysis of the most popular multi-objective design-space exploration algorithms for high-level design. These algorithms were collected from the recent literature and include heuristic, evolutionary, and statistical methods. Their comparison provides insights that we use to define guidelines for the choice of the most appropriate optimization algorithms, given the features of the design space. For the creation of a self-managing optimization framework---enabling the adaptive trade-off of multiple objectives---we leverage the tools of probabilistic graphical models. We introduce a mechanism based on dynamic hidden Markov models that balances the availability and lifetime of multiprocessor systems. This is achieved by estimating the occurrence of permanent faults amid transient faults, and by dynamically migrating the computation on excess resources, when failure occurs. The dynamic nature of the model makes it adjustable to different mission profiles and fault rates. The results show that we are able to lead systems to extended lifetimes, while keeping their availability close to ideal. On account of the stringent timing constraints imposed by aerospace systems, we then investigate the optimization of fault-tolerance under real-time requirements. We propose a methodology to improve the reliability of computation in the presence of transient errors when considering the mapping of real-time tasks on a homogeneous multiprocessor system with voltage and frequency scaling capabilities. In this framework, we take advantage of probability theory to define a novel trade-off between power consumption and fault-tolerance. As we recognize that resilience is a pervasive property of interest (e.g., for the design and analysis of generic complex systems), we adapt a formal definition of it to one more probabilistic framework derived from hidden Markov models. This allows us to realistically model the stochastic evolution and partial observability of complex real-world environments. Within this framework, we propose an efficient algorithm for the exact computation of the essential inference step required to construct generic property checking. To demonstrate the flexibility of this approach, we validate it in the context, among others, of a self-aware, reconfigurable computing system for aerospace. Finally, we move the scope of our research towards robotics and multi-agent systems: a topic of thriving popularity for space exploration. We tackle the problem of connectivity assessment and maintenance in the distributed and self-adaptive context of swarm robotics. We review the limitations of existing solutions and propose a novel methodology to create connected complex geometries for multiple task coverage. Additional contributions in the areas of (i) CubeSat design, (ii) the modelling of space radiation for FPGA fault-injection, and (iii) probabilistic timing analysis for real-time systems are summarized in the appendices. In the author's opinion, this research provides a number of useful stepping stones for the creation of a new generation of computing systems that autonomously---and reliably---perform their tasks for longer periods of time, fostering simpler and cheaper space exploration