Do evolutionary algorithms indeed require random numbers? Extended study

An inherent part of evolutionary algorithms, that are based on Darwin theory of evolution and Mendel theory of genetic heritage, are random processes. In this participation, we discuss whether are random processes really needed in evolutionary algorithms. We use n periodic deterministic processes instead of random number generators and compare performance of evolutionary algorithms powered by those processes and by pseudo-random number generators. Deterministic processes used in this participation are based on deterministic chaos and are used to generate periodical series with different length. Results presented here are numerical demonstration rather than mathematical proofs. We propose that a certain class of deterministic processes can be used instead of random number generators without lowering of evolutionary algorithms performance. © Springer International Publishing Switzerland 2013

Approximations in Stochastic Optimization and Their Applications

Mnoho inženýrských úloh vede na optimalizační modely s~omezeními ve tvaru obyčejných (ODR) nebo parciálních (PDR) diferenciálních rovnic, přičemž jsou v praxi často některé parametry neurčité. V práci jsou uvažovány tři inženýrské problémy týkající se optimalizace vibrací a optimálního návrhu rozměrů nosníku. Neurčitost je v nich zahrnuta ve formě náhodného zatížení nebo náhodného Youngova modulu. Je zde ukázáno, že dvoustupňové stochastické programování nabízí slibný přístup k řešení úloh daného typu. Odpovídající matematické modely, zahrnující ODR nebo PDR omezení, neurčité parametry a více kritérií, vedou na (vícekriteriální) stochastické nelineární optimalizační modely. Dále je dokázáno, pro jaký typ úloh je nutné použít stochastické programování (EO reformulace), a kdy naopak stačí řešit jednodušší deterministickou úlohu (EV reformulace), což má v praxi význam z hlediska výpočetní náročnosti. Jsou navržena výpočetní schémata zahrnující diskretizační metody pro náhodné proměnné a ODR nebo PDR omezení. Matematické modely odvozené pomocí těchto aproximací jsou implementovány a řešeny v softwaru GAMS. Kvalita řešení je určena na základě intervalových odhadů "optimality gapu" spočtených pomocí metody Monte Carlo. Parametrická analýza vícekriteriálního modelu vede na výpočet "efficient frontier". Jsou studovány možnosti aproximace modelu zahrnujícího pravděpodobnostní členy související se spolehlivostí pomocí smíšeného celočíselného nelineárního programování a reformulace pomocí penalizační funkce. Dále je vzhledem k budoucím možnostem paralelních výpočtů rozsáhlých inženýrských úloh implementován a testován PHA algoritmus. Výsledky ukazují, že lze tento algoritmus použít, i když nejsou splněny matematické podmínky zaručující konvergenci. Na závěr je pro deterministickou verzi jedné z úloh porovnána metoda konečných diferencí s metodou konečných prvků za použití softwarů GAMS a ANSYS se zcela srovnatelnými výsledky.Many optimum design problems in engineering areas lead to optimization models constrained by ordinary (ODE) or partial (PDE) differential equations, and furthermore, several elements of the problems may be uncertain in practice. Three engineering problems concerning the optimization of vibrations and an optimal design of beam dimensions are considered. The uncertainty in the form of random load or random Young's modulus is involved. It is shown that two-stage stochastic programming offers a promising approach in solving such problems. Corresponding mathematical models involving ODE or PDE type constraints, uncertain parameters and multiple criteria are formulated and lead to (multi-objective) stochastic nonlinear optimization models. It is also proved for which type of problems stochastic programming approach (EO reformulation) should be used and when it is sufficient to solve simpler deterministic problem (EV reformulation). This fact has the big importance in practice in term of computational intensity of large scale problems. Computational schemes for this type of problems are proposed, including discretization methods for random elements and ODE or PDE constraints. By means of derived approximations the mathematical models are implemented and solved in GAMS. The solution quality is determined by an interval estimate of the optimality gap computed via Monte Carlo bounding technique. Parametric analysis of multi-criteria model results in efficient frontier computation. The alternatives of approximations of the model with reliability-related probabilistic terms including mixed-integer nonlinear programming and penalty reformulations are discussed. Furthermore, the progressive hedging algorithm is implemented and tested for the selected problems with respect to future possibilities of parallel computing of large engineering problems. The results show that it can be used even when the mathematical conditions for convergence are not fulfilled. Finite difference method and finite element method are compared for deterministic version of ODE constrained problem by using GAMS and ANSYS with quite comparable results.