A hybrid swarm-based algorithm for single-objective optimization problems involving high-cost analyses

In many technical fields, single-objective optimization procedures in continuous domains involve expensive numerical simulations. In this context, an improvement of the Artificial Bee Colony (ABC) algorithm, called the Artificial super-Bee enhanced Colony (AsBeC), is presented. AsBeC is designed to provide fast convergence speed, high solution accuracy and robust performance over a wide range of problems. It implements enhancements of the ABC structure and hybridizations with interpolation strategies. The latter are inspired by the quadratic trust region approach for local investigation and by an efficient global optimizer for separable problems. Each modification and their combined effects are studied with appropriate metrics on a numerical benchmark, which is also used for comparing AsBeC with some effective ABC variants and other derivative-free algorithms. In addition, the presented algorithm is validated on two recent benchmarks adopted for competitions in international conferences. Results show remarkable competitiveness and robustness for AsBeC.Comment: 19 pages, 4 figures, Springer Swarm Intelligenc

An Evolutionary Optimization Algorithm for Automated Classical Machine Learning

Machine learning is an evolving branch of computational algorithms that allow computers to learn from experiences, make predictions, and solve different problems without being explicitly programmed. However, building a useful machine learning model is a challenging process, requiring human expertise to perform various proper tasks and ensure that the machine learning\u27s primary objective --determining the best and most predictive model-- is achieved. These tasks include pre-processing, feature selection, and model selection. Many machine learning models developed by experts are designed manually and by trial and error. In other words, even experts need the time and resources to create good predictive machine learning models. The idea of automated machine learning (AutoML) is to automate a machine learning pipeline to release the burden of substantial development costs and manual processes. The algorithms leveraged in these systems have different hyper-parameters. On the other hand, different input datasets have various features. In both cases, the final performance of the model is closely related to the final selected configuration of features and hyper-parameters. That is why they are considered as crucial tasks in the AutoML. The challenges regarding the computationally expensive nature of tuning hyper-parameters and optimally selecting features create significant opportunities for filling the research gaps in the AutoML field. This dissertation explores how to select the features and tune the hyper-parameters of conventional machine learning algorithms efficiently and automatically. To address the challenges in the AutoML area, novel algorithms for hyper-parameter tuning and feature selection are proposed. The hyper-parameter tuning algorithm aims to provide the optimal set of hyper-parameters in three conventional machine learning models (Random Forest, XGBoost and Support Vector Machine) to obtain best scores regarding performance. On the other hand, the feature selection algorithm looks for the optimal subset of features to achieve the highest performance. Afterward, a hybrid framework is designed for both hyper-parameter tuning and feature selection. The proposed framework can discover close to the optimal configuration of features and hyper-parameters. The proposed framework includes the following components: (1) an automatic feature selection component based on artificial bee colony algorithms and machine learning training, and (2) an automatic hyper-parameter tuning component based on artificial bee colony algorithms and machine learning training for faster training and convergence of the learning models. The whole framework has been evaluated using four real-world datasets in different applications. This framework is an attempt to alleviate the challenges of hyper-parameter tuning and feature selection by using efficient algorithms. However, distributed processing, distributed learning, parallel computing, and other big data solutions are not taken into consideration in this framework

Chaotic-based particle swarm optimization algorithm for optimal PID tuning in automatic voltage regulator systems

Introduction. In an electrical power system, the output of the synchronous generators varies due to disturbances or sudden load changes. These variations in output severely affect power system stability and power quality. The synchronous generator is equipped with an automatic voltage regulator to maintain its terminal voltage at rated voltage. Several control techniques utilized to improve the response of the automatic voltage regulator system, however, proportional integral derivative (PID) controller is the most frequently used controller but its parameters require optimization. Novelty. In this paper, the chaotic sequence based on the logistic map is hybridized with particle swarm optimization to find the optimal parameters of the PID for the automatic voltage regulator system. The logistic map chaotic sequence-based initialization and global best selection enable the algorithm to escape from local minima stagnation and improve its convergence rate resulting in best optimal parameters. Purpose. The main objective of the proposed approach is to improve the transient response of the automatic voltage regulator system by minimizing the maximum overshoot, settling time, rise time, and peak time values of the terminal voltage, and eliminating the steady-state error. Methods. In the process of parameter tuning, the Chaotic particle swarm optimization technique was run several times through the proposed hybrid objective function, which accommodates the advantages of the two most commonly used objective functions with a minimum number of iterations, and an optimal PID gain value was found. The proposed algorithm is compared with current metaheuristic algorithms including conventional particle swarm optimization, improved kidney algorithm, and others. Results. For performance evaluation, the characteristics of the integral of time multiplied squared error and Zwe-Lee Gaing objective functions are combined. Furthermore, the time-domain analysis, frequency-domain analysis, and robustness analysis are carried out to show the better performance of the proposed algorithm. The result shows that automatic voltage regulator tuned with the chaotic particle swarm optimization based PID yield improvement in overshoot, settling time, and function value of 14.41 %, 37.91 %, 1.73 % over recently proposed IKA, and 43.55 %, 44.5 %, 16.67 % over conventional particle swarm optimization algorithms. The improvement in transient response further improves the automatic voltage regulator system stability for electrical power systems.Вступ. В електроенергетичній системі потужність синхронних генераторів змінюється внаслідок збурень або різких змін навантаження. Ці зміни в потужності серйозно впливають на стабільність енергетичної системи та якість електроенергії. Синхронний генератор оснащений автоматичним регулятором напруги для підтримання напруги на його клемах на рівні номінальної напруги. Декілька методів управління використовуються для поліпшення реакції системи автоматичного регулятора напруги, однак пропорційний інтегральний похідний контролер (PID-контролер) є найбільш часто використовуваним контролером, але його параметри вимагають оптимізації. Новизна. У цій роботі хаотична послідовність, заснована на логістичній схемі, гібридизується за допомогою оптимізації рою частинок, щоб знайти оптимальні параметри PID для системи автоматичного регулятора напруги. Ініціалізація на основі хаотичної послідовності логістичної схеми та найкращий глобальний вибір дозволяють алгоритму вийти із локальної мінімальної стагнації та покращити швидкість збіжності, що дає найкращі оптимальні параметри. Мета. Основною метою запропонованого підходу є поліпшення перехідної реакції системи автоматичного регулятора напруги шляхом мінімізації максимального перевищення, часу встановлення, часу наростання та пікових значень напруги на клемах і усунення помилки у стаціонарного стані. Методи. У процесі настройки параметрів техніку оптимізації рою хаотичних частинок кілька разів пропускали через запропоновану гібридну цільову функцію, яка враховує переваги двох найбільш часто використовуваних цільових функцій з мінімальною кількістю ітерацій,і знайдено оптимальне значення коефіцієнту підсилення PID. Запропонований алгоритм порівнюється з сучасними метаевристичними алгоритмами, включаючи звичайну оптимізацію рою частинок, вдосконалений алгоритм нирок та інші. Результати. Для оцінки ефективності об'єднуються характеристики інтеграла у часі, помноженого на похибки у квадраті, та цільових функцій Цве-Лі Гейнга. Крім того, проводяться аналіз у часовій області, аналіз у частотної області та аналіз стійкості, щоб показати кращу ефективність запропонованого алгоритму. Результат показує, що автоматичний регулятор напруги, налаштований на хаотичну оптимізацію рою частинок, заснований на поліпшенні виходу PID в перевищеннях,часі налаштування та значенні функції перевищує на 14,41 %, 37,91 %, 1,73 % нещодавно запропонований нирковий алгоритм та на 43,55 %, 44,5 %, 16,67 % перевищує звичайні алгоритми оптимізації рою частинок. Поліпшення перехідної реакції ще більше покращує стабільність автоматичного регулятора напруги для систем електроенергетики

Chaotic-based particle swarm optimization algorithm for optimal PID tuning in automatic voltage regulator systems

Introduction. In an electrical power system, the output of the synchronous generators varies due to disturbances or sudden load changes. These variations in output severely affect power system stability and power quality. The synchronous generator is equipped with an automatic voltage regulator to maintain its terminal voltage at rated voltage. Several control techniques utilized to improve the response of the automatic voltage regulator system, however, proportional integral derivative (PID) controller is the most frequently used controller but its parameters require optimization. Novelty. In this paper, the chaotic sequence based on the logistic map is hybridized with particle swarm optimization to find the optimal parameters of the PID for the automatic voltage regulator system. The logistic map chaotic sequence-based initialization and global best selection enable the algorithm to escape from local minima stagnation and improve its convergence rate resulting in best optimal parameters. Purpose. The main objective of the proposed approach is to improve the transient response of the automatic voltage regulator system by minimizing the maximum overshoot, settling time, rise time, and peak time values of the terminal voltage, and eliminating the steady-state error. Methods. In the process of parameter tuning, the Chaotic particle swarm optimization technique was run several times through the proposed hybrid objective function, which accommodates the advantages of the two most commonly used objective functions with a minimum number of iterations, and an optimal PID gain value was found. The proposed algorithm is compared with current metaheuristic algorithms including conventional particle swarm optimization, improved kidney algorithm, and others. Results. For performance evaluation, the characteristics of the integral of time multiplied squared error and Zwe-Lee Gaing objective functions are combined. Furthermore, the time-domain analysis, frequency-domain analysis, and robustness analysis are carried out to show the better performance of the proposed algorithm. The result shows that automatic voltage regulator tuned with the chaotic particle swarm optimization based PID yield improvement in overshoot, settling time, and function value of 14.41 %, 37.91 %, 1.73 % over recently proposed IKA, and 43.55 %, 44.5 %, 16.67 % over conventional particle swarm optimization algorithms. The improvement in transient response further improves the automatic voltage regulator system stability for electrical power systems.Вступ. В електроенергетичній системі потужність синхронних генераторів змінюється внаслідок збурень або різких змін навантаження. Ці зміни в потужності серйозно впливають на стабільність енергетичної системи та якість електроенергії. Синхронний генератор оснащений автоматичним регулятором напруги для підтримання напруги на його клемах на рівні номінальної напруги. Декілька методів управління використовуються для поліпшення реакції системи автоматичного регулятора напруги, однак пропорційний інтегральний похідний контролер (PID-контролер) є найбільш часто використовуваним контролером, але його параметри вимагають оптимізації. Новизна. У цій роботі хаотична послідовність, заснована на логістичній схемі, гібридизується за допомогою оптимізації рою частинок, щоб знайти оптимальні параметри PID для системи автоматичного регулятора напруги. Ініціалізація на основі хаотичної послідовності логістичної схеми та найкращий глобальний вибір дозволяють алгоритму вийти із локальної мінімальної стагнації та покращити швидкість збіжності, що дає найкращі оптимальні параметри. Мета. Основною метою запропонованого підходу є поліпшення перехідної реакції системи автоматичного регулятора напруги шляхом мінімізації максимального перевищення, часу встановлення, часу наростання та пікових значень напруги на клемах і усунення помилки у стаціонарного стані. Методи. У процесі настройки параметрів техніку оптимізації рою хаотичних частинок кілька разів пропускали через запропоновану гібридну цільову функцію, яка враховує переваги двох найбільш часто використовуваних цільових функцій з мінімальною кількістю ітерацій,і знайдено оптимальне значення коефіцієнту підсилення PID. Запропонований алгоритм порівнюється з сучасними метаевристичними алгоритмами, включаючи звичайну оптимізацію рою частинок, вдосконалений алгоритм нирок та інші. Результати. Для оцінки ефективності об'єднуються характеристики інтеграла у часі, помноженого на похибки у квадраті, та цільових функцій Цве-Лі Гейнга. Крім того, проводяться аналіз у часовій області, аналіз у частотної області та аналіз стійкості, щоб показати кращу ефективність запропонованого алгоритму. Результат показує, що автоматичний регулятор напруги, налаштований на хаотичну оптимізацію рою частинок, заснований на поліпшенні виходу PID в перевищеннях,часі налаштування та значенні функції перевищує на 14,41 %, 37,91 %, 1,73 % нещодавно запропонований нирковий алгоритм та на 43,55 %, 44,5 %, 16,67 % перевищує звичайні алгоритми оптимізації рою частинок. Поліпшення перехідної реакції ще більше покращує стабільність автоматичного регулятора напруги для систем електроенергетики

Parameter identification of BIPT system using chaotic-enhanced fruit fly optimization algorithm

Bidirectional inductive power transfer (BIPT) system facilitates contactless power transfer between two sides and across an air-gap, through weak magnetic coupling. Typically, this system is nonlinear high order system which includes nonlinear switch components and resonant networks, developing of accurate model is a challenging task. In this paper, a novel technique for parameter identification of a BIPT system is presented by using chaotic-enhanced fruit fly optimization algorithm (CFOA). The fruit fly optimization algorithm (FOA) is a new meta-heuristic technique based on the swarm behavior of the fruit fly. This paper proposes a novel CFOA, which employs chaotic sequence to enhance the global optimization capacity of original FOA. The parameter identification of the BIPT system is formalized as a multi-dimensional optimization problem, and an objective function is established minimizing the errors between the estimated and measured values. All the 11 parameters of this system (Lpi, LT, Lsi, Lso, CT, Cs, M, Rpi, RT, Rsi and Rso) can be identified simultaneously using measured input–output data. Simulations show that the proposed parameter identification technique is robust to measurements noise and variation of operation condition and thus it is suitable for practical application

Digital Filter Design Using Improved Artificial Bee Colony Algorithms

Digital filters are often used in digital signal processing applications. The design objective of a digital filter is to find the optimal set of filter coefficients, which satisfies the desired specifications of magnitude and group delay responses. Evolutionary algorithms are population-based meta-heuristic algorithms inspired by the biological behaviors of species. Compared to gradient-based optimization algorithms such as steepest descent and Newton’s like methods, these bio-inspired algorithms have the advantages of not getting stuck at local optima and being independent of the starting point in the solution space. The limitations of evolutionary algorithms include the presence of control parameters, problem specific tuning procedure, premature convergence and slower convergence rate. The artificial bee colony (ABC) algorithm is a swarm-based search meta-heuristic algorithm inspired by the foraging behaviors of honey bee colonies, with the benefit of a relatively fewer control parameters. In its original form, the ABC algorithm has certain limitations such as low convergence rate, and insufficient balance between exploration and exploitation in the search equations. In this dissertation, an ABC-AMR algorithm is proposed by incorporating an adaptive modification rate (AMR) into the original ABC algorithm to increase convergence rate by adjusting the balance between exploration and exploitation in the search equations through an adaptive determination of the number of parameters to be updated in every iteration. A constrained ABC-AMR algorithm is also developed for solving constrained optimization problems.There are many real-world problems requiring simultaneous optimizations of more than one conflicting objectives. Multiobjective (MO) optimization produces a set of feasible solutions called the Pareto front instead of a single optimum solution. For multiobjective optimization, if a decision maker’s preferences can be incorporated during the optimization process, the search process can be confined to the region of interest instead of searching the entire region. In this dissertation, two algorithms are developed for such incorporation. The first one is a reference-point-based MOABC algorithm in which a decision maker’s preferences are included in the optimization process as the reference point. The second one is a physical-programming-based MOABC algorithm in which physical programming is used for setting the region of interest of a decision maker. In this dissertation, the four developed algorithms are applied to solve digital filter design problems. The ABC-AMR algorithm is used to design Types 3 and 4 linear phase FIR differentiators, and the results are compared to those obtained by the original ABC algorithm, three improved ABC algorithms, and the Parks-McClellan algorithm. The constrained ABC-AMR algorithm is applied to the design of sparse Type 1 linear phase FIR filters of filter orders 60, 70 and 80, and the results are compared to three state-of-the-art design methods. The reference-point-based multiobjective ABC algorithm is used to design of asymmetric lowpass, highpass, bandpass and bandstop FIR filters, and the results are compared to those obtained by the preference-based multiobjective differential evolution algorithm. The physical-programming-based multiobjective ABC algorithm is used to design IIR lowpass, highpass and bandpass filters, and the results are compared to three state-of-the-art design methods. Based on the obtained design results, the four design algorithms are shown to be competitive as compared to the state-of-the-art design methods