GPGPU for Difficult Black-box Problems

AbstractDifficult black-box problems arise in many scientific and industrial areas. In this paper, efficient use of a hardware accelerator to implement dedicated solvers for such problems is discussed and studied based on an example of Golomb Ruler problem. The actual solution of the problem is shown based on evolutionary and memetic algorithms accelerated on GPGPU. The presented results prove that GPGPU outperforms CPU in some memetic algorithms which can be used as a part of hybrid algorithm of finding near optimal solutions of Golomb Ruler problem. The presented research is a part of building heterogenous parallel algorithm for difficult black-box Golomb Ruler problem

Towards hybrid methods for solving hard combinatorial optimization problems

Tesis doctoral leída en la Escuela Politécnica Superior de la Universidad Autónoma de Madrid el 4 de septiembre de 200

Efficient Methods for Finding Optimal Convolutional Self-Doubly Orthogonal Codes

Résumé: Au cours des dernières années, la hausse sans précédent du nombre d'ultrabooks et d'appareils mobiles s'est accompagnée d'un besoin toujours croissant d'accès aux technologies permettant des communications sans-fil fiables et à haut débit. Pour atténuer ou éliminer les erreurs induites par les interférences et le bruit dans les canaux de communication, il est important de développer des systèmes de codage efficaces pour la correction d'erreurs. En effet, lors de communications de données numériques sur un canal ayant un faible rapport signal sur bruit, ces codes permettent de conserver un taux d'erreur faible tout en augmentant le débit des transmissions et/ou en diminuant la puissance d'émission requise. Ceci contribue grandement à améliorer l'efficacité énergétique de ces dispositifs électroniques sans-fil et, ainsi, à prolonger leur autonomie. Dans cette thèse par articles, nous présentons un algorithme de recherche efficace pour trouver deux types de codes correcteurs d'erreur: les codes convolutionnels doublement orthogonaux (CDO) et les codes convolutionnels doublement orthogonaux simplifiés (S-CDO). En effet, ces codes sont utilisés dans un système de contrôle d'erreurs ayant un décodage à seuil itératif différent de la procédure de décodage Turbo classique, puisqu'il ne nécessite aucun entrelaceur, ni à l'encodage, ni aux étapes de décodage. Néanmoins, son processus de décodage à seuil nécessite que ces codes convolutionnels systématiques satisfassent des propriétés dites de « double orthogonalité », allant au-delà des conditions requises par les codes « simplement orthogonaux », bien connus et habituellement utilisés lors d'un décodage à seuil non-itératif. Afin de pouvoir construire des codecs à haute performance et à faible latence avec ces codes, il est important de minimiser leur longueur de contrainte ou « span » pour un nombre J de connexions donné. Bien que trouver des codes CDO et S-CDO ne soit pas difficile, déterminer les codes ayant un span minimal (dit optimal) pour un ordre J donné est mathématiquement très complexe. En effet, la construction directe de codes CDO / S-CDO à span court/optimal reste un problème ouvert et qui est soupçonné d'être NP-complet. Cette thèse présente un total de trois articles: deux articles publiés dans IEEE Transactions on Communications et un article soumis au journal IEEE Transactions on Parallel and Distributed Systems . Dans ces articles, nous décrivons un nouvel algorithme de recherche parallèle, efficace et implicitement-exhaustif pour trouver des codes CDO et S-CDO systématiques, à taux R=1/2 et ayant un span plus court, voire minimal, c.à.d. optimal. Comparé à l'algorithme de recherche implicitement-exhaustif de référence, l'algorithme de recherche à haute performance proposé reste exhaustif mais fournit un facteur d'accélération très important, supérieur à 16300 pour les codes CDO (J=7) et supérieur à 6300 pour les codes S-CDO (J=8).----------Abstract: In recent years, the rise of ultrabooks and mobile devices has been accompanied by an ever increasing need for reliable high-bandwidth wireless communications. To mitigate or eliminate the errors that are invariably introduced due to noise and interference in the communication channels, it is important to develop efficient error-correcting coding schemes. Indeed, these codes may be used to preserve the error performance while allowing the data-rate of digital communications to be increased and the transmission power at lower signal-to-noise ratios to be reduced, thereby improving the overall power efficiency of these devices. In this manuscript-based thesis, we present an efficient search algorithm for finding optimal/short-span Convolutional Self-Doubly Orthogonal (CDO) codes and Simplified Convolutional Self-Doubly Orthogonal (S-CDO) codes. These error-correcting codes are employed in an iterative error-control coding scheme that differs from the classical Turbo code procedure, as it does not require any interleaver, neither at the encoding nor at the decoding stages. However, its iterative threshold decoding procedure requires that these systematic convolutional codes satisfy some “double orthogonality properties”, beyond those of the well-known orthogonal codes used in the usual non-iterative threshold decoding. In order to build high-performance, low-latency codecs with these codes, it is important to minimize the constraint length, also called “span”, for a given number J of generator connections. Although finding CDO/S-CDO codes is not difficult, determining the optimal/short-span codes for a given order J is computationally very challenging. The direct construction of optimal or shortest-span CDO and S-CDO codes has so far eluded analysis, and the search for these codes is believed to be an NP-complete problem. The thesis presents a total of three articles: two articles that were published in IEEE Transactions on Communications , and one article that was submitted for publication to IEEE Transactions on Parallel and Distributed Systems . In these articles, we describe a novel efficient and parallel implicitly-exhaustive search algorithm for finding rate R=1/2 systematic optimal/short-span CDO and S-CDO codes. The high-performance search algorithm is still exhaustive in nature, yet it provides an impressive speedup that is larger than 16300 (CDO, J=7) and 6300 (S-CDO, J=8) over the reference implicitly-exhaustive search algorithm, and larger than 2000 (CDO, J=17) over the fastest known CDO validation function used in high-performance pseudo-random search algorithms

Algoritmos meméticos para la resolución de problemas combinatorios de satisfacción con restricciones y con simetrías

Dicho análisis incluye un estudio del empleo de diferentes arquitecturas cooperativas que utilizan un variado número de algoritmos metaheurísticos e híbridos, apoyándonos en métodos estadísticos propuestos para la evaluación de este tipo de algoritmos.Este trabajo se enfoca en la resolución de problemas complejos de optimización, principalmente con el objetivo de prestar atención al modelado y ajuste de diversas técnicas metaheurísticas con el fin de resolver problemas de optimización con simetrías. La principal motivación para el desarrollo de esta investigación ha sido presentar una metodología que reúna las líneas principales que se deben seguir al momento de abordar este tipo de problemas. Es por ello que hemos utilizado un enfoque incremental de corte integrativo que involucre aspectos relacionados con la construcción o aplicación de modelos adecuados para la representación de los problemas objeto de estudio, considerando diferentes formas de representación enmarcados en la teoría de la dualidad, e intentando emplear algún mecanismo que permita reducir el paisaje de búsqueda (esto es, ruptura de simetrías). Se ha empleado un esquema de colaboración utilizando diferentes modelos de arquitectura, así como algoritmos híbridos evolutivos con diferentes métodos de búsqueda local. Además, consideraremos la utilización de un enfoque colaborativo entre las metaheurísticas propuestas a través de la definición de topologías de comunicación entre los diferentes componentes que participan en dicho esquema. Este enfoque propuesto se engloba dentro del paradigma de los algoritmos meméticos y ha sido validado empíricamente por medio dos problemas de optimización combinatoria que presentan un alto grado de complejidad, cuyos espacios de búsqueda son ricos en lo que se refiere a presencia de estados simétricos, y que han sido tradicionalmente formulados y resueltos por medio de técnicas de programación lineal entera (ILP) y programación con restricciones (CP). A tal fin, se presenta un extenso análisis de los resultados obtenidos con el fin de validar la adecuación y la eficacia de las técnicas metaheurísticas propuestas

A memetic approach to golomb rulers

Abstract. Finding Golomb rulers is an extremely challenging optimization problem with many practical applications. This problem has been approached by a variety of search methods in recent years. We consider in this work a hybrid evolutionary algorithm that incorporates ideas from greedy randomized adaptive search procedures (GRASP), tabu-based local search methods (TS) and scatter search (SS). In particular, GRASP and TS are embedded into a SS algorithm to serve as initialization and restarting methods for the population and as improvement technique respectively. The resulting memetic algorithm significantly outperforms earlier approaches (including other hybrid EAs, as well as hybridizations of local search and constraint programming), finding optimal rulers where the mentioned techniques failed.