CCSA: Conscious Neighborhood-based Crow Search Algorithm for Solving Global Optimization Problems

© 2019 Elsevier B.V. In this paper, a conscious neighborhood-based crow search algorithm (CCSA) is proposed for solving global optimization and engineering design problems. It is a successful improvement to tackle the imbalance search strategy and premature convergence problems of the crow search algorithm. CCSA introduces three new search strategies called neighborhood-based local search (NLS), non-neighborhood based global search (NGS) and wandering around based search (WAS) in order to improve the movement of crows in different search spaces. Moreover, a neighborhood concept is defined to select the movement strategy between NLS and NGS consciously, which enhances the balance between local and global search. The proposed CCSA is evaluated on several benchmark functions and four applied problems of engineering design. In all experiments, CCSA is compared by other state-of-the-art swarm intelligence algorithms: CSA, BA, CLPSO, GWO, EEGWO, WOA, KH, ABC, GABC, and Best-so-far ABC. The experimental and statistical results show that CCSA is very competitive especially for large-scale optimization problems, and it is significantly superior to the compared algorithms. Furthermore, the proposed algorithm also finds the best optimal solution for the applied problems of engineering design

Contributions `a la r´esolution de probl`emes d’optimisation combinatoires NP-difficiles

Cette th�ese porte sur des algorithmes e�caces pour la r�esolution de probl�emes d'optimisation combinatoires NP-di�ciles, avec deux contributions. La premi�ere contribution consiste en la proposition d'un nouvel algorithme multiob- jectif hybride combinant un algorithme g�en�etique avec un op�erateur de recherche bas�e sur l'optimisation par essaims de particules. L'objectif de cette hybridation est de surmonter les situations de convergence lente des algorithmes g�en�etiques multiobjectifs lors de la r�e- solution de probl�emes di�ciles �a plus de deux objectifs. Dans le sch�ema hybride propos�e, un algorithme g�en�etique multiobjectif Pareto applique p�eriodiquement un algorithme d'op- timisation par essaim de particules pour optimiser une fonction d'adaptation scalaire sur une population archive. Deux variantes de cet algorithme hybride sont propos�ees et adap- t�ees pour la r�esolution du probl�eme du sac �a dos multiobjectif. Les r�esultats exp�erimentaux prouvent que les algorithmes hybrides sont plus performants que les algorithmes standards. La seconde contribution concerne l'am�elioration d'un algorithme heuristique de recherche locale dit PALS (pour l'anglais Problem Aware Local Search) sp�eci�que au probl�eme d'as- semblage de fragments d'ADN, un probl�eme d'optimisation combinatoire NP-di�cile en bio-informatique des s�equences. Deux modi�cations �a PALS sont propos�ees. La premi�ere modi�cation permet d'�eviter les ph�enom�enes de convergence pr�ematur�ee vers des optima lo- caux. La seconde modi�cation conduit �a une r�eduction signi�cative des temps de calcul tout en conservant la pr�ecision des r�esultats. Apr�es des exp�erimentations r�ealis�ees sur les jeux de donn�ees disponibles dans la litt�erature, nos nouvelles variantes de PALS se r�ev�elent tr�es comp�etitives par rapport aux variantes existantes et �a d'autres algorithmes d'assemblage

Approche novatrice pour la conception et l'exploitation d'avions écologiques

The objective of this PhD work is to pose, investigate, and solve the highly multidisciplinary and multiobjective problem of environmentally efficient aircraft design and operation. In this purpose, the main three drivers for optimizing the environmental performance of an aircraft are the airframe, the engine, and the mission profiles. The figures of merit, which will be considered for optimization, are fuel burn, local emissions, global emissions, and climate impact (noise excluded). The study will be focused on finding efficient compromise strategies and identifying the most powerful design architectures and design driver combinations for improvement of environmental performances. The modeling uncertainty will be considered thanks to rigorously selected methods. A hybrid aircraft configuration is proposed to reach the climatic impact reduction objective.L’objectif de ce travail de thèse est de poser, d’analyser et de résoudre le problème multidisciplinaire et multi-objectif de la conception d’avions plus écologiques et plus économiques. Dans ce but, les principaux drivers de l’optimisation des performances d’un avion seront: la géométrie de l’avion, son moteur ainsi que son profil de mission, autrement dit sa trajectoire. Les objectifs à minimiser considérés sont la consommation de carburant, l’impact climatique et le coût d’opération de l’avion. L’étude sera axée sur la stratégie de recherche de compromis entre ces objectifs, afin d’identifier les configurations d’avions optimales selon le critère sélectionné et de proposer une analyse de ces résultats. L’incertitude présente au niveau des modèles utilisés sera prise en compte par des méthodes rigoureusement sélectionnées. Une configuration d’avion hybride est proposée pouratteindre l’objectif de réduction d’impact climatique

Méthodes statistiques de détection d’observations atypiques pour des données en grande dimension

La détection d’observations atypiques de manière non-supervisée est un enjeu crucial dans la pratique de la statistique. Dans le domaine de la détection de défauts industriels, cette tâche est d’une importance capitale pour assurer une production de haute qualité. Avec l’accroissement exponentiel du nombre de mesures effectuées sur les composants électroniques, la problématique de la grande dimension se pose lors de la recherche d’anomalies. Pour relever ce challenge, l’entreprise ippon innovation, spécialiste en statistique industrielle et détection d’anomalies, s’est associée au laboratoire de recherche TSE-R en finançant ce travail de thèse. Le premier chapitre commence par présenter le contexte du contrôle de qualité et les différentes procédures déjà mises en place, principalement dans les entreprises de semi-conducteurs pour l’automobile. Comme ces pratiques ne répondent pas aux nouvelles attentes requises par le traitement de données en grande dimension, d’autres solutions doivent être envisagées. La suite du chapitre résume l’ensemble des méthodes multivariées et non supervisées de détection d’observations atypiques existantes, en insistant tout particulièrement sur celles qui gèrent des données en grande dimension. Le Chapitre 2 montre théoriquement que la très connue distance de Mahalanobis n’est pas adaptée à la détection d’anomalies si celles-ci sont contenues dans un sous-espace de petite dimension alors que le nombre de variables est grand.Dans ce contexte, la méthode Invariant Coordinate Selection (ICS) est alors introduite comme une alternative intéressante à la mise en évidence de la structure des données atypiques. Une méthodologie pour sélectionner seulement les composantes d’intérêt est proposée et ses performances sont comparées aux standards habituels sur des simulations ainsi que sur des exemples réels industriels. Cette nouvelle procédure a été mise en oeuvre dans un package R, ICSOutlier, présenté dans le Chapitre 3 ainsi que dans une application R shiny (package ICSShiny) qui rend son utilisation plus simple et plus attractive.Une des conséquences directes de l’augmentation du nombre de dimensions est la singularité des estimateurs de dispersion multivariés, dès que certaines variables sont colinéaires ou que leur nombre excède le nombre d’individus. Or, la définition d’ICS par Tyler et al. (2009) se base sur des estimateurs de dispersion définis positifs. Le Chapitre 4 envisage différentes pistes pour adapter le critère d’ICS et investigue de manière théorique les propriétés de chacune des propositions présentées. La question de l’affine invariance de la méthode est en particulier étudiée. Enfin le dernier chapitre, se consacre à l’algorithme développé pour l’entreprise. Bien que cet algorithme soit confidentiel, le chapitre donne les idées générales et précise les challenges relevés, notamment numériques.The unsupervised outlier detection is a crucial issue in statistics. More specifically, in the industrial context of fault detection, this task is of great importance for ensuring a high quality production. With the exponential increase in the number of measurements on electronic components, the concern of high dimensional data arises in the identification of outlying observations. The ippon innovation company, an expert in industrial statistics and anomaly detection, wanted to deal with this new situation. So, it collaborated with the TSE-R research laboratory by financing this thesis work. The first chapter presents the quality control context and the different procedures mainly used in the automotive industry of semiconductors. However, these practices do not meet the new expectations required in dealing with high dimensional data, so other solutions need to be considered. The remainder of the chapter summarizes unsupervised multivariate methods for outlier detection, with a particular emphasis on those dealing with high dimensional data. Chapter 2 demonstrates that the well-known Mahalanobis distance presents some difficulties to detect the outlying observations that lie in a smaller subspace while the number of variables is large. In this context, the Invariant Coordinate Selection (ICS) method is introduced as an interesting alternative for highlighting the structure of outlierness. A methodology for selecting only the relevant components is proposed. A simulation study provides a comparison with benchmark methods. The performance of our proposal is also evaluated on real industrial data sets. This new procedure has been implemented in an R package, ICSOutlier, presented in Chapter 3, and in an R shiny application (package ICSShiny) that makes it more user-friendly. When the number of dimensions increases, the multivariate scatter matrices turn out to be singular as soon as some variables are collinear or if their number exceeds the number of individuals. However, in the presentation of ICS by Tyler et al. (2009), the scatter estimators are defined as positive definite matrices. Chapter 4 proposes three different ways for adapting the ICS method to singular scatter matrices and theoretically investigates their properties. The question of affine invariance is analyzed in particular. Finally, the last chapter is dedicated to the algorithm developed for the company. Although the algorithm is confidential, the chapter presents the main ideas and the challenges, mostly numerical, encountered during its development

Contribution à l'analyse des séquences de protéines similarité, clustering et alignement

La prédiction des fonctions biologiques des protéines est primordiale en biologie cellulaire. On peut comprendre facilement tout l'enjeu de pouvoir différencier efficacement les protéines par leurs fonctions, quand on sait que ceci peut rendre possible la réparation des protéines anormales causants des maladies, ou du moins corriger ou améliorer leurs fonctions. Les méthodes expérimentales, basées sur la structure tridimensionnelle des protéines sont les plus fiables pour la prédiction des fonctions biologiques des protéines. Néanmoins, elles sont souvent coûteuses en temps et en ressources, et ne permettent pas de traiter de grands nombres de protéines. Il existe toutefois des algorithmes qui permettent aux biologistes d'arriver à de bons résultats de prédictions en utilisant des moyens beaucoup moins coûteux. Le plus souvent, ces algorithmes sont basés sur la similarité, le clustering, et l'alignement. Cependant, les algorithmes qui sont basés sur la similarité et le clustering utilisent souvent l'alignement des séquences et ne sont donc pas efficaces sur les protéines non alignables. Et lorsqu'ils ne sont pas basés sur l 'alignement, ces algorithmes utilisent souvent des approches qui ne tiennent pas compte de l'aspect biologique des séquences de protéines. D'autre part, l'efficacité des algorithmes d'alignements dépend souvent de la nature structurelle des protéines, ce qui rend difficile le choix de l'algorithme à utiliser quand la structure est inconnue. Par ailleurs, les algorithmes d'alignement ignorent les divergences entre les séquences à aligner, ce qui contraint souvent les biologistes à traiter manuellement les séquences à aligner, une tâche qui n'est pas toujours possible en pratique. Dans cette thèse nous présentons un ensemble de nouveaux algorithmes que nous avons conçus pour l'analyse des séquences de protéines. Dans le premier chapitre, nous présentons CLUSS, le premier algorithme de clustering capable de traiter des séquences de protéines non-alignables. Dans le deuxième chapitre, nous présentons CLUSS2 une version améliorée de CLUSS, capable de traiter de plus grands ensembles de protéines avec plus de de fonctions biologiques. Dans le troisième chapitre, nous présentons SCS, une nouvelle mesure de similarité capable de traiter efficacement non seulement les séquences de protéines mais aussi plusieurs types de séquences catégoriques. Dans le dernier chapitre, nous présentons ALIGNER, un algorithme d'alignement, efficace sur les séquences de protéines indépendamment de leurs types de structures. De plus, ALIGNER est capable de détecter automatiquement, parmi les protéines à aligner, les groupes de protéines dont l'alignement peut révéler d'importantes propriétés biochimiques structurelles et fonctionnelles, et cela sans faire appel à l'utilisateur

Amélioration des techniques d'optimisation combinatoire par retour d'expérience dans le cadre de la sélection de scénarios de Produit/Projet

La définition et l’utilisation d'un modèle couplant la conception de produit et la conduite du projet dès les phases amont de l’étude d’un système correspondent à une forte demande industrielle. Ce modèle permet la prise en compte simultanée de décisions issues des deux environnements produit/projet mais il représente une augmentation conséquente de la dimension de l'espace de recherche à explorer pour le système d'aide à la décision, notamment lorsque il s'agit d'une optimisation multiobjectif. Les méthodes de type métaheuristique tel que les algorithmes évolutionnaires, sont une alternative intéressante pour la résolution de ce problème fortement combinatoire. Ce problème présente néanmoins une particularité intéressante et inexploitée : Il est en effet courant de réutiliser, en les adaptant, des composants ou des procédures précédemment mis en œuvre dans les produits/projets antérieurs. L'idée mise en avant dans ce travail consiste à utiliser ces connaissances « a priori » disponibles afin de guider la recherche de nouvelles solutions par l'algorithme évolutionnaire. Le formalisme des réseaux bayésiens a été retenu pour la modélisation interactive des connaissances expertes. De nouveaux opérateurs évolutionnaires ont été définis afin d'utiliser les connaissances contenues dans le réseau. De plus, le système a été complété par un processus d'apprentissage paramétrique en cours d'optimisation permettant d'adapter le modèle si le guidage ne donne pas de bons résultats. La méthode proposée assure à la fois une optimisation plus rapide et efficace, mais elle permet également de fournir au décideur un modèle de connaissances graphique et interactif associé au projet étudié. Une plateforme expérimentale a été réalisée pour valider notre approche. ABSTRACT : The definition and use of a model coupling product design and project management in the earliest phase of the study of a system correspond to a keen industrial demand. This model allows simultaneous to take into account decisions resulting from the two environments (product and project) but it represents a consequent increase of the search space dimension for the decision-making system, in particular when it concerns a multiobjective optimization. Metaheuristics methods such as evolutionary algorithm are an interesting way to solve this strongly combinative problem. Nevertheless, this problem presents an interesting and unexploited characteristic: It is indeed current to re-use, by adapting them, the components or the procedures previously implemented in pasted product or project. The idea proposed in this work consists in using this “a priori” knowledge available in order to guide the search for new solutions by the evolutionary algorithm. Bayesian network was retained for the interactive modeling of expert knowledge. New evolutionary operators were defined in order to use knowledge contained in the network. Moreover, the system is completed by a process of parametric learning during optimization witch make it possible to adapt the model if guidance does not give good results. The method suggested ensures both a faster and effective optimization, but it also makes it possible to provide to the decision maker a graphic and interactive model of knowledge linked to studied project. An experimental platform was carried out to validate our approach

Étude de la durabilité des ouvrages dans un contexte de développement durable (application aux ponts mixtes)

La pratique courante de la conception des ouvrages d'art est fortement orientée par la phase de construction. Traditionnellement, la conception des ouvrages consiste à retenir un dimensionnement qui permet d'atteindre un coût initial de construction le plus faible possible tout en respectant des exigences prescrites pour une durée de fonctionnement donnée. Cette approche est aujourd'hui revisitée pour chercher à intégrer tout le cycle de vie de l'ouvrage, c'est-à-dire à considérer toutes les étapes de sa vie depuis la conception jusqu'à la fin de vie en service. En effet, les activités liées au cycle de vie de l'ouvrage durant les phases d'exploitation, de maintenance/réhabilitation, et de fin de vie génèrent des impacts tant sur le plan économique que sur les plans environnementaux et sociétaux, bien plus importants que la simple phase de conception/construction. Chaque option de dimensionnement peut être associée à un cycle de vie différent et donc à des impacts différents. Pour cette raison et dans une approche de développement durable, cette thèse propose d'analyser les ouvrages dans leur cycle de vie selon trois axes : économique, environnemental et sociétal. Pour cela, une famille d'ouvrage particulière a été retenue : les ponts mixtes acier-béton. Une analyse performantielle est également effectuée pour permettre de prendre en compte différents scénarios de maintenance. Finalement, une procédure d'optimisation et une analyse multicritère sont proposées pour évaluer l'ensemble des variantes de conception et permettre d'avoir une vision globale qui aide les maîtres d'ouvrage et les gestionnaires lors de la prise de décisionThe current practice in structural design is strongly impacted by the construction stage. Traditionally, the design process aims at selecting the solution with the lowest initial construction cost while fulfilling prescribed requirements during a fixed service life. This approach is now revisited to integrate the whole life-cycle of the structure, i.e to consider the structure from the design step to the end of the service life. Indeed, activities related to the structure life-cycle such as operation, maintenance/rehabilitation and end-of-life generate economic, environmental and societal impacts, which may be more significant than those at the design/construction of the structure. Each design solution might be associated with a different life-cycle, and then with differents impacts. For this reason and within an approach of sustainable development, this PhD work proposes to analyze structures during the overall life-cycle of the structure in accordance with three axes : economic, environmental and social. A performance-based analysis is also performed to take into account different maintenance strategies. Finally, a multi-objective optimization process and a multi-criteria analysis are proposed to assess all design solutions and have a global vision that helps bridge owners and managers in the decision making processPARIS-EST-Université (770839901) / SudocSudocFranceF

Quantification d’incertitude sur fronts de Pareto et stratégies pour l’optimisation bayésienne en grande dimension, avec applications en conception automobile

This dissertation deals with optimizing expensive or time-consuming black-box functionsto obtain the set of all optimal compromise solutions, i.e. the Pareto front. In automotivedesign, the evaluation budget is severely limited by numerical simulation times of the considered physical phenomena. In this context, it is common to resort to “metamodels” (models of models) of the numerical simulators, especially using Gaussian processes. They enable adding sequentially new observations while balancing local search and exploration. Complementing existing multi-objective Expected Improvement criteria, we propose to estimate the position of the whole Pareto front along with a quantification of the associated uncertainty, from conditional simulations of Gaussian processes. A second contribution addresses this problem from a different angle, using copulas to model the multi-variate cumulative distribution function. To cope with a possibly high number of variables, we adopt the REMBO algorithm. From a randomly selected direction, defined by a matrix, it allows a fast optimization when only a few number of variables are actually influential, but unknown. Several improvements are proposed, such as a dedicated covariance kernel, a selection procedure for the low dimensional domain and of the random directions, as well as an extension to the multi-objective setup. Finally, an industrial application in car crash-worthiness demonstrates significant benefits in terms of performance and number of simulations required. It has also been used to test the R package GPareto developed during this thesis.Cette thèse traite de l’optimisation multiobjectif de fonctions coûteuses, aboutissant à laconstruction d’un front de Pareto représentant l’ensemble des compromis optimaux. En conception automobile, le budget d’évaluations est fortement limité par les temps de simulation numérique des phénomènes physiques considérés. Dans ce contexte, il est courant d’avoir recours à des « métamodèles » (ou modèles de modèles) des simulateurs numériques, en se basant notamment sur des processus gaussiens. Ils permettent d’ajouter séquentiellement des observations en conciliant recherche locale et exploration. En complément des critères d’optimisation existants tels que des versions multiobjectifs du critère d’amélioration espérée, nous proposons d’estimer la position de l’ensemble du front de Pareto avec une quantification de l’incertitude associée, à partir de simulations conditionnelles de processus gaussiens. Une deuxième contribution reprend ce problème à partir de copules. Pour pouvoir traiter le cas d’un grand nombre de variables d’entrées, nous nous basons sur l’algorithme REMBO. Par un tirage aléatoire directionnel, défini par une matrice, il permet de trouver un optimum rapidement lorsque seules quelques variables sont réellement influentes (mais inconnues). Plusieurs améliorations sont proposées, elles comprennent un noyau de covariance dédié, une sélection du domaine de petite dimension et des directions aléatoires mais aussi l’extension au casmultiobjectif. Enfin, un cas d’application industriel en crash a permis d’obtenir des gainssignificatifs en performance et en nombre de calculs requis, ainsi que de tester le package R GPareto développé dans le cadre de cette thèse