Genetic Transfer or Population Diversification? Deciphering the Secret Ingredients of Evolutionary Multitask Optimization

Evolutionary multitasking has recently emerged as a novel paradigm that enables the similarities and/or latent complementarities (if present) between distinct optimization tasks to be exploited in an autonomous manner simply by solving them together with a unified solution representation scheme. An important matter underpinning future algorithmic advancements is to develop a better understanding of the driving force behind successful multitask problem-solving. In this regard, two (seemingly disparate) ideas have been put forward, namely, (a) implicit genetic transfer as the key ingredient facilitating the exchange of high-quality genetic material across tasks, and (b) population diversification resulting in effective global search of the unified search space encompassing all tasks. In this paper, we present some empirical results that provide a clearer picture of the relationship between the two aforementioned propositions. For the numerical experiments we make use of Sudoku puzzles as case studies, mainly because of their feature that outwardly unlike puzzle statements can often have nearly identical final solutions. The experiments reveal that while on many occasions genetic transfer and population diversity may be viewed as two sides of the same coin, the wider implication of genetic transfer, as shall be shown herein, captures the true essence of evolutionary multitasking to the fullest.Comment: 7 pages, 6 figure

On Selfish Memes: culture as complex adaptive system

We present the formal definition of meme in the sense of the equivalence between memetics and the theory of cultural evolution. From the formal definition we find that culture can be seen analytically and persuade that memetic gives important role in the exploration of sociological theory, especially in the cultural studies. We show that we are not allowed to assume meme as smallest information unit in cultural evolution in general, but it is the smallest information we use on explaining cultural evolution. We construct a computational model and do simulation in advance presenting the selfish meme powerlaw distributed. The simulation result shows that the contagion of meme as well as cultural evolution is a complex adaptive system. Memetics is the system and art of importing genetics to social sciences

Evolutionary Algorithms

Evolutionary algorithms (EAs) are population-based metaheuristics, originally inspired by aspects of natural evolution. Modern varieties incorporate a broad mixture of search mechanisms, and tend to blend inspiration from nature with pragmatic engineering concerns; however, all EAs essentially operate by maintaining a population of potential solutions and in some way artificially 'evolving' that population over time. Particularly well-known categories of EAs include genetic algorithms (GAs), Genetic Programming (GP), and Evolution Strategies (ES). EAs have proven very successful in practical applications, particularly those requiring solutions to combinatorial problems. EAs are highly flexible and can be configured to address any optimization task, without the requirements for reformulation and/or simplification that would be needed for other techniques. However, this flexibility goes hand in hand with a cost: the tailoring of an EA's configuration and parameters, so as to provide robust performance for a given class of tasks, is often a complex and time-consuming process. This tailoring process is one of the many ongoing research areas associated with EAs.Comment: To appear in R. Marti, P. Pardalos, and M. Resende, eds., Handbook of Heuristics, Springe

Extending optimization algorithms to complex engineering problems

(undefined

Исследование эффективности мульти-меметического алгоритма эволюции разума

oai:oai.mathm.elpub.ru:article/90In solving practically significant problems of global optimization, the objective function is often of high dimensionality and computational complexity and of nontrivial landscape as well. Studies show that often one optimization method is not enough for solving such problems efficiently - hybridization of several optimization methods is necessary.One of the most promising contemporary trends in this field are memetic algorithms (MA), which can be viewed as a combination of the population-based search for a global optimum and the procedures for a local refinement of solutions (memes), provided by a synergy. Since there are relatively few theoretical studies concerning the MA configuration, which is advisable for use to solve the black-box optimization problems, many researchers tend just to adaptive algorithms, which for search select the most efficient methods of local optimization for the certain domains of the search space.The article proposes a multi-memetic modification of a simple SMEC algorithm, using random hyper-heuristics. Presents the software algorithm and memes used (Nelder-Mead method, method of random hyper-sphere surface search, Hooke-Jeeves method). Conducts a comparative study of the efficiency of the proposed algorithm depending on the set and the number of memes. The study has been carried out using Rastrigin, Rosenbrock, and Zakharov multidimensional test functions. Computational experiments have been carried out for all possible combinations of memes and for each meme individually.According to results of study, conducted by the multi-start method, the combinations of memes, comprising the Hooke-Jeeves method, were successful. These results prove a rapid convergence of the method to a local optimum in comparison with other memes, since all methods perform the fixed number of iterations at the most.The analysis of the average number of iterations shows that using the most efficient sets of memes allows us to find the optimal solution for the less number of iterations in comparison with the less efficient sets. It should be additionally noted that there is no dependence of the total number of the algorithm iterations on the number of memes used.The study results demonstrate that the Hooke-Jeeves method proved to be the most efficient for the chosen functions, since its presence in a set of memes allows a significantly improving quality of the solution obtained. At the same time, the results of statistical tests show that the use of additional methods in a set of memes often has no significant effect on the results of the algorithm.При решении практически значимых задач глобальной оптимизации целевая функция зачастую имеет высокую размерность и вычислительную сложность, а также нетривиальный ландшафт. Исследования показывают, что зачастую одного метода оптимизации недостаточно для эффективного решения такого рода задач – необходима гибридизация нескольких методов оптимизации.Одним из перспективных современных направлений в этой области являются меметические алгоритмы, МА, который можно рассматривать как сочетание популяционного поиска глобального оптимума и процедур локального уточнения решений (мемов), которое дает синергетический эффект. Поскольку существует относительно немного теоретических исследований, посвященных тому, какую конфигурацию МА рекомендуется использовать для решения black-box задач оптимизации, многие исследователи склоняются именно к адаптивным алгоритмам, которые в процессе поиска самостоятельно подбирают наиболее эффективные методы локальной оптимизации для определённых областей пространства поиска.Авторами предложена мульти-меметическая модификация простого алгоритма SMEC, использующая случайную гиперэвристику. Представлена программная реализация алгоритма, а также используемых мемов (метод Нелдера-Мида, метод случайного поиска по поверхности гиперсферы, метод Хука-Дживса). Выполнено сравнительное исследование эффективности предложенного алгоритма в зависимости от набора и числа мемов. Исследование проводилось с использованием многомерных тестовых функций Растригина, Розенброка и Захарова. Вычислительные эксперименты проводились для всех возможных комбинаций мемов и для каждого мема в отдельности.По результам исследования с использованием метода мульти-старта успешными оказались комбинации мемов, включающих в себя метод Хука-Дживса. Данные результаты свидетельствуют о быстрой сходимости метода к локальному оптимуму по сравнению с другими мемами, так как все методы выполняют не более фиксированного числа итераций.Анализ среднего числа итераций показывает, что использование наиболее эффективных наборов мемов позволяет отыскать оптимальное решение за меньшее число итераций по сравнению с менее эффективными наборами. Дополнительно следует отметить, что не наблюдается зависимости общего числа итераций алгоритма от количества используемых мемов.Результаты исследования демонстрируют, что метод Хука-Дживса оказался наиболее эффективным для выбранных функций, так как его наличие в наборе мемов позволяет существенно улучшить качество получаемого решения.  При этом результаты статистических тестов показывают, что использование дополнительных методов в наборе мемов, зачастую не оказывает значительного влияния на результаты работы алгоритма