Incorporating Memory and Learning Mechanisms Into Meta-RaPS

Due to the rapid increase of dimensions and complexity of real life problems, it has become more difficult to find optimal solutions using only exact mathematical methods. The need to find near-optimal solutions in an acceptable amount of time is a challenge when developing more sophisticated approaches. A proper answer to this challenge can be through the implementation of metaheuristic approaches. However, a more powerful answer might be reached by incorporating intelligence into metaheuristics. Meta-RaPS (Metaheuristic for Randomized Priority Search) is a metaheuristic that creates high quality solutions for discrete optimization problems. It is proposed that incorporating memory and learning mechanisms into Meta-RaPS, which is currently classified as a memoryless metaheuristic, can help the algorithm produce higher quality results. The proposed Meta-RaPS versions were created by taking different perspectives of learning. The first approach taken is Estimation of Distribution Algorithms (EDA), a stochastic learning technique that creates a probability distribution for each decision variable to generate new solutions. The second Meta-RaPS version was developed by utilizing a machine learning algorithm, Q Learning, which has been successfully applied to optimization problems whose output is a sequence of actions. In the third Meta-RaPS version, Path Relinking (PR) was implemented as a post-optimization method in which the new algorithm learns the good attributes by memorizing best solutions, and follows them to reach better solutions. The fourth proposed version of Meta-RaPS presented another form of learning with its ability to adaptively tune parameters. The efficiency of these approaches motivated us to redesign Meta-RaPS by removing the improvement phase and adding a more sophisticated Path Relinking method. The new Meta-RaPS could solve even the largest problems in much less time while keeping up the quality of its solutions. To evaluate their performance, all introduced versions were tested using the 0-1 Multidimensional Knapsack Problem (MKP). After comparing the proposed algorithms, Meta-RaPS PR and Meta-RaPS Q Learning appeared to be the algorithms with the best and worst performance, respectively. On the other hand, they could all show superior performance than other approaches to the 0-1 MKP in the literature

Hyper-heuristics İn Dynamic Environments

Tez (Doktora) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2014Thesis (PhD) -- İstanbul Technical University, Institute of Science and Technology, 2014Son zamanlarda önerilen metotlar daha çok statik eniyileme problemleri için geliştirilmişlerdir. Fakat gerçek hayatta karşılaşılan eniyileme problemlerinin pek çoğu dinamik bir yapı göstermektedir. Dinamik bir ortamda, eniyileme yönteminin üzerinde çalışmaya başladığı ortamda zaman içinde değişimler olabilir. Ancak bu problemlerin çözümünde genelde bu dinamiklik göz ardı edilerek klasik eniyileme yaklaşımları uygulanmaktadır. Halbuki bu dinamikliği de göz önüne alarak çalışan bir eniyileme yaklaşımı, ortamdaki değişimleri hızlı bir şekilde izleyebilmeli ve bunlara uyum sağlayabilmek için adaptif olmalıdır. Eniyileme algoritması açısından bakıldığında problem ortamı, problemin tanımlı değerleri, eniyilemede kullanılan amaç fonksiyonları ve kısıtlardan oluşur. Ortamdaki dinamiklik, problem ortamını oluşturan bu parçalardan herhangi birisinde veya birkaçında meydana gelen tekil ya da eş zamanlı değişimlerden kaynaklanabilir. Farklı problemlerde bu değişimler de farklı özellikler göstermektedir. Bu özellikler  genelde  değişimlerin şiddetine, sıklığına, periyodik olup olmamasına göre sınıflandırılırlar. Ortamdaki dinamizmin özelliklerine göre farklı durumlarda farklı yaklaşımlar başarılı olmaktadır. Bu ise eniyileme yaklaşımını seçerken ortamdaki değişimlerin özelliklerinin bilinmesi anlamına gelir. Halbuki gerçek hayatta bu her zaman mümkün olmayabilir. Ayrıca ortamın gösterdiği değişimin özellikleri de zaman içinde değişebilir. Bu durumda başta seçilen yaklaşım, eniyilemenin ilerleyen aşamalarında başarılı olmayabilir.  Üst-sezgiseller problem uzayında problem ile etkileşim halinde olan ve aday çözümü güncelleyen alt seviyedeki sezgiseller aracılığı ile arama yapar. Alt seviyede kullanılan, probleme özel sezgiseller ise problemin çözüm uzayında arama yaparlar. Bu nedenle alt seviyedeki sezgiseller, üst-sezgiseller ile problemin çözüm uzayı arasında bir ara katman olarak düşünülebilir. Böylece problem uzayında aramayı alt sezgiseller yapmış olur. Bu özellik sayesinde bir üst-sezgisel, uygun alt sezgisellerin kullanılmasıyla, değiştirilmeden çeşitli problemlere uygulanabilir. Sezgisel seçen üst-sezgiseller konusunda yapılan araştırmaların temel hedefi, eniyilemenin genelleştirme seviyesini yükselterek pek çok farklı problem domeninde ve farklı özellikler gösteren ortamlarda uygulanabilir bir yaklaşım geliştirmektir. Bu nedenle üst-sezgiseller, doğaları gereği adaptif yapıdadırlar. Bu özellikleri sayesinde dinamik ortamlardaki değişimlere, herhangi bir dış müdahale gerektirmeden hızla uyum gösterip, etkin çözümler üretebilirler. Bu tezde öncelikle literatürde var olan üst-sezgisellerin dinamik ortamlar için uygunluğu üzerinde çalışılmıştır. Elde edilen bilgiler ışığında dinamik ortamlarda başarılı çözümler üretecek yeni üst-sezgisel yaklaşım geliştirilmiş ve başarımı ölçülmüştür. Tezin ilk aşamasında, otuz beş tek çözüm üreten sezgisel seçen üst-sezgisellerin başarımını, farklı değişim dinamikleri sergileyen sürekli dinamik eniyileme problemleri için değerlendirdik. Deneylerde üzerinde çalışmak için yapay oluşturulmuş test problemi (Moving Peaks Benchmark) kullanılmıştır. Ayrık eniyileme problemleri için sezgisel seçen üst-sezgisellerin birçok başarılı uygulamaları olmasına rağmen, bilgimiz dahilinde, bu çalışma reel değerli (sürekli) eniyileme problemleri için sezgisel seçen üst-sezgisellerin ilk uygulamalarından biridir. Bunun yanı sıra bu çalışma, bu teknikleri kullanarak dinamik eniyileme problemlerini ele alan çok az çalışma arasında yer almaktadır. Deneysel sonuçlar göstermiştir ki; uygun bileşenli öğrenme tabanlı üst-sezgiseller ortamdaki farklı tipteki değişimlere hızlı bir şekilde tepki gösterebilmekte ve onları takip edebilmektedir. Bu çalışma üst-sezgisellerin dinamik eniyileme problemlerini çözmek için uygun olduğunu göstermektedir.  İkinci aşamada, karınca kolonisi algoritmasından esinlenerek yeni öğrenme tabanlı üst-sezgisel yaklaşım, karınca tabanlı seçim, geliştirilmiştir. Önerilen üst-sezgisel düşük seviyeli bütün sezgisel çiftleri arasındaki feromon yoğunluklarının bir matrisini tutar. Her adımda bir sezgisel, önceden çağırılan sezgisel ile düşük seviyeli sezgisel kümesinden her bir eleman arasındaki feromon değerlerine göre seçilir. Bu çalışmada iyileştiren ve eşit hareket kabul yöntemi kullanılmıştır. Önerdiğimiz üst-sezgisel yönteminin başarımı yapay oluşturulmuş test problemi (Moving Peaks Benchmark) kullanılarak değerlendirilmiştir. Test sonuçlarına göre, önerilen yaklaşım daha önceden dinamik ortamlar için en iyi olarak belirlenen sezgisel seçme yöntemleri ile benzer sonuçlar vermiştir. Önerilen yaklaşım ortam değiştiğinde herhangi bir özel eyleme gerek duymamaktadır. Fakat hareket kabul yönteminin doğası gereği, her bir değişimden sonra üretilen ilk çözüm adayı niteliğine bakılmaksızın kabul edilmektedir. Bundan dolayı hareket kabul yöntemi ortamdaki değişikliği algılamak zorundadır. Bu çalışmada ortamdaki değişimleri algılamak için basit bir yöntem kullanılmıştır. Bu yöntemde şu anki çözümün başarım değeri her adımda tekrardan hesaplanmaktadır. Eğer şu anki çözümün başarım değerinde bir değişiklik varsa ortam değişmiş demektir. Sezgisel seçme yöntemi olarak seçin fonksiyonu, destekli öğrenme ve karınca tabanlı seçim kullanılmıştır. Test sonuçlarına göre yeniden değerlendirme yöntemi bütün yaklaşımların başarımını azaltmıştır.  Bu çalışmada ayrıca önerilen yaklaşımın kapsamlı bir analizi yapılmıştır. Bu amaçla önerilen yaklaşımın adaptasyon yeteneği ve algoritmaların parametrelerinin başarıma etkisi incelenmiştir. Deneysel sonuçlara göre, önerilen yaklaşım hızlı bir şekilde değişimlere uyum sağlayabilmektedir. Önerilen yaklaşım parametre atamalarından çok fazla etkilenmemekte ve geniş aralıklı parametre değerleri için benzer sonuçlar vermektedir.     Tezin son aşamasında, önerilen yaklaşımın başarımı üç farklı uygulamada değerlendirilmiştir. Öncelikle, sezgisel seçen üst-sezgiseller çok popülasyonlu hibrid bir çerçeve içinde kullanılmışlardır. Bu çerçeve çevrimiçi ve çevrimdışı öğrenme mekanizmalarına dayanan üst-sezgiseller ile dağılım tahmini algoritmasının hibridleştirilmesine olanak sağlamaktadır. İyi çözümler üretmek için olasılık vektörlerinin listesi ilk aşamada çevrimdışı olarak öğrenilir. İkinci aşamada iki ayrı popülasyon ve her popülasyonun kendi olasılık vektörleri vardır. Bir alt popülasyon dağılım tahmini algoritması kullanarak örneklendirilirken, diğer alt popülasyon çevrimiçi olarak uygun olasılık vektörünü çevrimiçi aşamada öğrenilen olasılık vektörleri listesinden örneklemek için üst-sezgiselleri kullanır. Önerilen hidrid yöntemin başarımı farklı sezgisel seçme yöntemleri kullanılarak denenmiştir ve Rastgele Permütasyon metodunun daha başarılı olduğu gözlemlenmiştir. Ayrıca bu hibrid yapı literatürde iyi bilinen benzer yaklaşımlarla  karşılaştırılmış ve bunlara göre daha iyi sonuç verdiği gözlemlenmiştir. Önerilen yöntem dinamik ortamlar için önerilmiştir. Bununla birlikte, yöntemin statik ortamlardaki başarımını gözlemlemek için, ikinci uygulama olarak, önerilen metot HyFlex arayüzü üzerinde uygulanmıştır. HyFlex'in Java uygulaması CHeSC2011 yarışmasında kullanılmıştır. Bu uygulama altı statik problem domeni sağlamaktadır. Önerilen yaklaşımın başarımı yarışmadaki katılımcılarla karşılaştırılmıştır. Son uygulama olarak önerilen yaklaşımın başarısı gerçek dünya problemi kullanılarak değerlendirilmiştir. Yapay oluşturulmuş test problemleri problem örneklerini yaratmak için kullanılan önemli araştırma araçları olup verilen domende bu örneklerin özelliklerini kontrol etmemizi sağlar. Bu problem örnekleri farklı algoritmaların başarımını karşılaştırmak için çoğunlukla kullanılmaktadırlar. Öte yandan, gerçek dünya problemleri yapay olarak oluşturulan örneklerden farklı olabilir. Yapay örnekleri kullanarak yapılan algoritmaların test edilmesi verilen algoritmanın gerçek dünya problemi üzerindeki asıl performansını  yansıtmayabilir. Dolayısıyla, bu çalışmada, Dinamik Gezgin Satıcı Problemi olarak bilinen gerçek dünya problemi ele alınmış ve  önerilen yaklaşımın başarımı değerlendirilmiştir. Dinamik Gezgin Satıcı Problemi örneklerini oluşturmak için literatürde çokça kullanılan Gezgin Satıcı Problemi' nin örneklerine trafik faktörü eklenmiştir. Genel olarak, test edilen problemler üzerinde önerilen metodun iyi sonuç verdiği gözlemlenmiştir. En son yapılan testler üst-sezgisellerin genel bir yapı olduğunu vurgulamıştır. Üst-sezgiseller hiçbir değişikliğe ya da parametre ayarlarına gerek duymadan bu çalışmada kullanılan tüm eniyileme problemlerine uygulanmıştır.Current state-of-the-art methodologies are mostly developed for stationary optimization problems. However, many real world problems are dynamic in nature. To handle the complexity of dealing with the changes in the environment, an optimization algorithm needs to be adaptive and hence capable of following the change dynamics. From the point of view of an optimization algorithm, the problem environment consists of the instance, the objectives and the constraints. The dynamism may arise due to a change in any of the components of the problem environment. Existing search methodologies have been modified suitably with respect to the change properties, in order to tackle dynamic environment problems. Population based approaches, such as evolutionary algorithms are frequently used for solving dynamic environment problem.  Hyper-heuristics are high-level methodologies that perform search over the space of heuristics rather than solutions for solving computationally difficult problems. They operate at a higher level, communicating with the problem domain through a domain barrier. Any type of problem specific information is filtered through the domain barrier. Due to this feature, a hyper-heuristic can be directly employed in various problem domains without requiring any change, of course, through the use of appropriate domain specific low-level heuristics.  Selection hyper-heuristics are highly adaptive search methodologies that aim to raise the level of generality by providing solutions to a diverse set of problems having different characteristics. In this thesis, we investigate single point search based selection hyper-heuristics in dynamic environments. We first work on the applicability of selection hyper-heuristics proposed in literature for dynamic environments. Then, we propose a novel learning hyper-heuristic for dynamic environments and investigate the performance of the proposed hyper-heuristic and its variants.  In the first phase, the performances of thirty-five single point search based selection hyper-heuristics are investigated on continuous dynamic environments exhibiting various change dynamics, produced by the Moving Peaks Benchmark generator. Even though there are many successful applications of selection hyper-heuristics to discrete optimization problems, to the best of our knowledge, this study is one of the initial applications of selection hyper-heuristics to real-valued optimization as well as being among the very few which address dynamic optimization issues using these techniques. The empirical results indicate that learning selection hyper-heuristics which incorporate compatible components can react to different types of changes in the environment and are capable of tracking them. This study shows the suitability of selection hyper-heuristics as solvers in dynamic environments.  In the second phase, we propose a new learning hyper-heuristic, called the {\em Ant-based Selection} ({\em AbS}), for dynamic environments which is inspired from the ant colony optimization algorithm components. The proposed hyper-heuristic maintains a matrix of pheromone intensities (utility values) between all pairs of low-level heuristics. A heuristic is selected based on the utility values between the previously invoked heuristic and each heuristic from the set of low-level heuristics. For this study, we employ the generic Improving and Equal acceptance scheme. We explore the performance of the proposed hyper-heuristic and its variants using Moving Peaks Benchmark (MPB) generator. The empirical results indicate that the proposed heuristic selection scheme provides slightly better performance than the heuristic selection scheme that was previously reported to be the best in dynamic environments.   The proposed approach does not require any special actions whenever a change occurs in the environment. However, the first candidate solution generated after each change is accepted regardless of its quality. Therefore, the move acceptance needs to detect the change. In this study, we use a simple detection mechanism in which the current solution is re-evaluated at each step. If there is a change in the fitness of the current solution, a change is considered to be detected. We consider {\em Ant-based selection}, Choice Function and Reinforcement Learning as the heuristic selection methods. The results show that the re-evaluation process slightly deteriorates the performance of approaches for especially high frequency changes, however, the approach is suitable for cases where changes cannot be made known to the optimization algorithm. We then investigate the effect of the parameters of the proposed algorithm on overall performance. The results show that the settings of the parameters are not very sensitive  and similar results are obtained for a wide range of parameter values. In the third phase, we explore the performance of the proposed hyper-heuristic through three different applications. As the first application, the selection hyper-heuristics are used in a hybrid multi-population framework. We use a hybridization of the Estimation of Distribution Algorithm (EDA) with hyper-heuristics in the form of a two-phase framework. We investigate the influence of different heuristic selection methods. The empirical results show that a heuristic selection method that relies on a fixed permutation of the underlying low-level heuristics is more successful than the learning approaches across different dynamic environments produced by a well-known benchmark generator. The proposed approach also outperforms some of the top approaches in literature for dynamic environment problems. Ant-based selection is proposed for dynamic environments. However, to see its performance in a stationary environment, Ant-based Selection is applied to six stationary optimization problems provided in HyFlex as the  second application. The results are compared with the results of participants in CHeSC2011 competition. Finally, we present the performance of Ant-based Selection on a real-world optimization problem referred to as the Dynamic Traveling Salesman Problem. The overall results show that the proposed approach delivers good performance on the tested optimization problems. These last set of experiments also emphasize the general nature of hyper-heuristics. For all optimization problems in this study, all hyper-heuristics are applied without requiring any modifications or parameter tuning.DoktoraPh

Extending a class of continuous estimation of distribution algorithms to dynamic problems

In this paper, a class of continuous Estimation of Distribution Algorithms (EDAs) based on Gaussian models is analyzed to investigate their potential for solving dynamic optimization problems where the global optima may change dramatically during time. Experimental results on a number of dynamic problems show that the proposed strategy for dynamic optimization can significantly improve the performance of the original EDAs and the optimal solutions can be consistently located

Online Learning In Estimation Of Distribution Algorithms For Dynamic Environments

In this paper, we propose an estimation of distribution algorithm based on an inexpensive Gaussian mixture model with online learning, which will be employed in dynamic optimization. Here, the mixture model stores a vector of sufficient statistics of the best solutions, which is subsequently used to obtain the parameters of the Gaussian components. This approach is able to incorporate into the current mixture model potentially relevant information of the previous and current iterations. The online nature of the proposal is desirable in the context of dynamic optimization, where prompt reaction to new scenarios should be promoted. To analyze the performance of our proposal, a set of dynamic optimization problems in continuous domains was considered with distinct levels of complexity, and the obtained results were compared to the results produced by other existing algorithms in the dynamic optimization literature. © 2011 IEEE.6269Jin, Y., Branke, J., Evolutionary optimization in uncertain environments - A survey (2005) IEEE Transactions on Evolutionary Computation, 9 (3), pp. 303-317. , DOI 10.1109/TEVC.2005.846356Tinos, R., Yang, S., A self-organizing random immigrants genetic algorithm for dynamic optimization problems (2007) Genetic Programming and Evolvable Machines, 8 (3), pp. 255-286. , DOI 10.1007/s10710-007-9024-zYang, S., Yao, X., Population-based incremental learning with associative memory for dynamic environments (2008) Evolutionary Computation, IEEE Transactions on, 12 (5), pp. 542-561Mendes, R., Kennedy, J., Neves, J., The fully informed particle swarm: Simpler, maybe better (2004) Evolutionary Computation, IEEE Transactions on, 8 (3), pp. 204-210. , JuneLi, X., Branke, J., Blackwell, T., Particle swarm with speciation and adaptation in a dynamic environment (2006) GECCO 2006 - Genetic and Evolutionary Computation Conference, 1, pp. 51-58. , GECCO 2006 - Genetic and Evolutionary Computation ConferenceDe França, F., Von Zuben, F., De Castro, L., An artificial immune network for multimodal function optimization on dynamic environments (2005) Proceedings of the 2005 Conference on Genetic and Evolutionary Computation. ACM, p. 296De França, F., Zuben, F.V., A dynamic artificial immune algorithm applied to challenging benchmarking problems (2009) Proceedings of the Eleventh Conference on Congress on Evolutionary Computation, Ser. CEC'09, pp. 423-430. , Piscataway, NJ, USA: IEEE PressYang, S., Yao, X., Experimental study on population-based incremental learning algorithms for dynamic optimization problems (2005) Soft Computing, 9 (11), pp. 815-834. , DOI 10.1007/s00500-004-0422-3Liu, X., Wu, Y., Ye, J., An improved estimation of distribution algorithm in dynamic environments (2008) Fourth International Conference on Natural Computation. IEEE Computer Society, pp. 269-272Gonçalves, A., Von Zuben, F., Hybrid evolutionary algorithm guided by a fast adaptive gaussian mixture model applied to dynamic optimization problems (2010) III Workshop on Computational Intelligence - Joint Conference, pp. 553-558Larrañaga, P., Lozano, J., (2002) Estimation of Distribution Algorithms: A New Tool for Evolutionary Computation, , Springer NetherlandsLarrañaga, P., A review of estimation of distribution algorithms (2001) Estimation of Distribution Algorithms: A New Tool for Evolutionary Computation, , P. Larrañaga, J. A. Lozano, Ed. Kluwer Academic PublishersBishop, C., (2007) Pattern Recognition and Machine Learning (Information Science and Statistics), , 1st ed. Springer, OctoberDuda, R., Hart, P., Stork, D., (2001) Pattern Classification, , 2nd ed. Wiley, NovemberDempster, A., Laird, N., Rubin, D., Maximum likelihood from incomplete data via the EM algorithm (1977) Journal of the Royal Statistical Society. Series B (Methodological), 39 (1), pp. 1-38Nowlan, S., (1991) Soft Competitive Adaptation: Neural Network Learning Algorithms Based on Fitting Statistical Mixtures, , Ph. D. dissertation, Carnegie Mellon University, Pittsburgh, PA, USANeal, R., Hinton, G., A view of the EM algorithm that justifies incremental, sparse and other variants (1998) Learning in Graphical Models. Kluwer Academic Publishers, pp. 355-368Branke, J., Memory enhanced evolutionary algorithms for changing optimization problems (1999) Congress on Evolutionary Computation CEC99, 3, pp. 1875-1882Li, C., Yang, S., A generalized approach to construct benchmark problems for dynamic optimization (2008) Proc. of the 7th Int. Conf. on Simulated Evolution and LearningLi, C., Yang, S., Nguyen, T., Yu, E., Yao, X., Jin, Y., Beyer, H., Suganthan, P., Benchmark generator for CEC'2009 competition on dynamic optimization (2008) University of Leicester, Tech. Rep.Yuan, B., Orlowska, M., Sadiq, S., Extending a class of continuous estimation of distribution algorithms to dynamic problems (2008) Optimization Letters, 2 (3), pp. 433-443. , DOI 10.1007/s11590-007-0071-4Cobb, H., An investigation into the use of hypermutation as an adaptive operator in genetic algorithms having continuous, time-dependent nonstationary environments (1990) Naval Research Laboratory, Tech. Rep

A Multi-gaussian Component Eda With Restarting Applied To Direction Of Arrival Tracking

This paper analyzes the application of a multi-population Gaussian-based estimation of distribution algorithm equipped with a restarting strategy and mutation, named MGcEDA, to the problem of estimating the Direction of Arrival (DOA) of time-varying plane waves impinging on a uniform linear array of sensors. This problem requires the minimization of a dynamic cost function which is non-linear, non-quadratic, multimodal and variant with respect to the signal-to-noise ratio. Experiments showed that MGcEDA was able to quickly respond to changes in the source features in scenarios with different levels of noise and number of signals. Moreover, MGcEDA outperforms a previously proposed approach in all considered experiments in terms of well known performance measures. © 2013 IEEE.15561563Bacardit, J., Stout, M., Hirst, J., Valencia, A., Smith, R., Krasnogor, N., Automated alphabet reduction for protein datasets (2009) BMC Bioinformat-ics, 10 (1), p. 6Badidi, L., Radouane, L., A neural network approach for doa estimation and tracking (2000) Statistical Signal and Array Processing 2000. Proceedings of the Tenth, pp. 434-438. , IEEE Workshop onBoccato, L., De França, F., Krummenauer, R., Attux, R., Von Zuben, F., Lopes, A., Immune-inspired dynamic optimization for the direction of arrival estimation problem (2009) Proceedings of the XXVII Brazilian Telecommunications Symposium (In Portuguese)Boccato, L., Krummenauer, R., Attux, R., Lopes, A., Improving the efficiency of natural computing algorithms in DOA estimation using a noise filtering approach (2012) Circuits, Systems, and Signal Processing, pp. 1-11Application of natural computing algorithms to maximum likelihood estimation of direction of arrival (2012) Signal Processing, 92 (5), pp. 1338-1352Chen, C.-H., Chen, Y., Real-coded ecga for economic dispatch (2007) Proceedings of the 9th Conference on Genetic and Evolutionary Computation, Ser. GECCO '07, pp. 1920-1927Chen, Y., Wiesel, A., Eldar, Y., Hero, A., Shrinkage algorithms for MMSE covariance estimation (2010) Signal Processing IEEE Transactions on, 58 (10), pp. 5016-5029De Castro, L., Von Zuben, F., Learning and optimization using the clonal selection principle (2002) Evolutionary Computation IEEE Transac-tions on, 6 (3), pp. 239-251De França, F.O., Von Zuben, F.J., De Castro, L.N., An artificial immune network for multimodal function optimization on dynamic environments (2005) Proceedings of the 2005 Conference on Genetic and Evolutionary Computation, Ser. GECCO '05, pp. 289-296Gershman, A., Stoica, P., MODE with extra-roots (MODEX): A new DOA estimation algorithm with an improved threshold performance (1999) IEEE International Conference on Acoustics, Speech, and Signal Processing, 5, pp. 2833-2836Gershman, A.B., Array signal processing (2006) Space-Time Wireless Sys-tems: From Array Processing to MIMO Communications, , H. Bölcskel D. G. Papadias, and A.-J. van der Veen, Eds. Cambridge University PressGonçalves, A.R., Von Zuben, F.J., Online learning in estimation of distribution algorithms for dynamic environments (2011) Evolutionary Computation (CEC) 2011, pp. 62-69. , IEEE Congress onHanda, H., The effectiveness of mutation operation in the case of estimation of distribution algorithms (2007) Biosystems, 87 (2), pp. 243-251Hansen, N., (2011) The CMA Evolution Strategy: A Tutorial, , https://www.lri.fr/hansen/cmatutorial.pdf, Jun. [Online]. AvailableHauschild, M., Pelikan, M., An introduction and survey of estimation of distribution algorithms (2011) Swarm and Evolutionary Computation, 1 (3), pp. 111-128Hayes, M.S., Minsker, B.S., (2005) Evaluation of Advanced Genetic Algorithms Applied to Groundwater Remediation Design, , Ph.D. dissertation University of Illinois at Urbana-ChampaignHung, J.-C., Modified particle swarm optimization structure approach to direction of arrival estimation (2013) Applied Soft Computing, 13 (1), pp. 315-320Karamalis, P., Marousis, A., Kanatas, A., Constantinou, P., Direction of arrival estimation using genetic algorithms (2001) Vehicular Technology Conference IEEE 53rd, 1, pp. 162-166Kay, S.M., (1993) Fundamentals of Statistical Signal Processing, 1. , Estimation Theory. Englewood Cliffs, NJ Prentice Hall Signal Processing SeriesKrim, H., Viberg, M., Two decades of array signal processing research: The parametric approach (1996) Signal Processing Magazine IEEE, 13 (4), pp. 67-94Krummenauer, R., Cazarotto, M., Lopes, A., Larzabal, P., Forster, P., Improving the threshold performance of maximum likelihood estimation of direction of arrival (2010) Signal Processing, 90 (5), pp. 1582-1590Larrañaga, P., Lozano, J., (2002) Estimation of Distribution Algorithms: A New Tool for Evolutionary Computation, , Springer NetherlandsLedoit, O., Wolf, M., Improved estimation of the covariance matrix of stock returns with an application to portfolio selection (2003) Journal of Empirical Finance, 10 (5), pp. 603-621Li, C., Yang, S., Nguyen, T., Yu, E., Yao, X., Jin, Y., Beyer, H., Suganthan, P., Benchmark generator for CEC'2009 competition on dynamic optimization (2008) Dept. Comput. Sci., , Univ. Leicester, Leicester, UK, Tech. RepLiu, K., O'Leary, D., Stewart, G., Wu, Y.-J., URV ESPRIT for tracking time-varying signals," Signal Processing (1994) IEEE Transactions on, 42 (12), pp. 3441-3448Luo, N., Qian, F., Estimation of distribution algorithm sampling under gaussian and cauchy distribution in continuous domain (2010) 8th IEEE International Conference on Control and Automation (ICCA), pp. 1716-1720Stein, J., Inadmissibility of the usual estimator for the mean of a multivariate normal distribution (1956) Proceedings of the Third Berkeley Symposium on Mathematical Statistics and Probability, J. Neyman, Ed, pp. 197-206. , University of California PressStoica, P., Nehorai, A., Performance study of conditional and unconditional direction-of-arrival estimation (1990) IEEE Transactions on Acoustics, Speech, and Signal Processing, 38 (10), pp. 1783-1795Stoica, P., Sharman, K.C., Maximum likelihood methods for direction-of-arrival estimation (1990) IEEE Trans. on Acoustic, Speech and Signal Processing, 38 (7), pp. 1132-1143Novel eigenanalysis method for direction estimation (1990) IEEE Proceedings Part F (Radar and Signal Processing), 137 (1), pp. 19-26Stoica, P., Sharman, K., Novel eigenanalysis method for direction estimation (1990) Radar and Signal Processing IEEE Proceedings of, 137 (1), pp. 19-26Van Trees, H.L., (2001) Optimum Array Processing Part IV of Detection, Estimation and Modulation Theory, , New York, USA: John Wiley & SonsYang, S., Yao, X., Experimental study on population-based incremental learning algorithms for dynamic optimization problems (2005) Soft Comp, 9, pp. 815-834. , 0Population-based incremental learning with associative memory for dynamic environments (2008) Evolutionary Computation IEEE Transac-tions on, 12 (5), pp. 542-561Yu, T.-L., Santarelli, S., Goldberg, D., Military antenna design using a simple genetic algorithm and hboa (2006) Scalable Optimization Via Probabilistic Modeling, Ser. Studies in Computational Intelligence, 33, pp. 275-289. , M. Pelikan, K. Sastry, and E. CantúPaz, Eds Springer Berlin HeidelbergYuan, B., Orlowska, M., Sadiq, S., Extending a class of continuous estimation of distribution algorithms to dynamic problems (2008) Optimiza-tion Letters, 2 (3), pp. 433-44