Adaptive particle swarm optimization

An adaptive particle swarm optimization (APSO) that features better search efficiency than classical particle swarm optimization (PSO) is presented. More importantly, it can perform a global search over the entire search space with faster convergence speed. The APSO consists of two main steps. First, by evaluating the population distribution and particle fitness, a real-time evolutionary state estimation procedure is performed to identify one of the following four defined evolutionary states, including exploration, exploitation, convergence, and jumping out in each generation. It enables the automatic control of inertia weight, acceleration coefficients, and other algorithmic parameters at run time to improve the search efficiency and convergence speed. Then, an elitist learning strategy is performed when the evolutionary state is classified as convergence state. The strategy will act on the globally best particle to jump out of the likely local optima. The APSO has comprehensively been evaluated on 12 unimodal and multimodal benchmark functions. The effects of parameter adaptation and elitist learning will be studied. Results show that APSO substantially enhances the performance of the PSO paradigm in terms of convergence speed, global optimality, solution accuracy, and algorithm reliability. As APSO introduces two new parameters to the PSO paradigm only, it does not introduce an additional design or implementation complexity

Unsupervised text Feature Selection using memetic Dichotomous Differential Evolution

Feature Selection (FS) methods have been studied extensively in the literature, and there are a crucial component in machine learning techniques. However, unsupervised text feature selection has not been well studied in document clustering problems. Feature selection could be modelled as an optimization problem due to the large number of possible solutions that might be valid. In this paper, a memetic method that combines Differential Evolution (DE) with Simulated Annealing (SA) for unsupervised FS was proposed. Due to the use of only two values indicating the existence or absence of the feature, a binary version of differential evolution is used. A dichotomous DE was used for the purpose of the binary version, and the proposed method is named Dichotomous Differential Evolution Simulated Annealing (DDESA). This method uses dichotomous mutation instead of using the standard mutation DE to be more effective for binary purposes. The Mean Absolute Distance (MAD) filter was used as the feature subset internal evaluation measure in this paper. The proposed method was compared with other state-of-the-art methods including the standard DE combined with SA, which is named DESA in this paper, using five benchmark datasets. The F-micro, F-macro (F-scores) and Average Distance of Document to Cluster (ADDC) measures were utilized as the evaluation measures. The Reduction Rate (RR) was also used as an evaluation measure. Test results showed that the proposed DDESA outperformed the other tested methods in performing the unsupervised text feature selection

Scan path optimization for active beam delivery in charged particle therapy

Tese de mestrado integrado em Engenharia Biomédica e Biofísica, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012De acordo com a Organização Mundial de Saúde, o cancro é uma das principais causas de morte em todo o mundo com certa de 7.6 milhões de mortes em 2008. Excluindo o cancro de pele não-melanoma foi estimado que cerca de 45% dos pacientes com cancro, se tratados, podem ser curados. Existem diferentes métodos de tratamento para o cancro sendo a cirurgia, quimioterapia e radioterapia os tratamentos padrão. A radioterapia possui um importante papel como método de tratamento do cancro, apresentando uma taxa de cura de cerca de 23% (12% se utilizada sozinha e 11% quando combinada com cirurgia ou quimioterapia). Atualmente a técnica de radioterapia dominante, conhecida como "convencional", utiliza fotões. Contudo, o interesse na utilização de aceleradores de partículas carregadas (considerando apenas partículas com massas iguais ou superiores à do protão) tem vindo a aumentar consideravelmente. Esse interesse deve-se principalmente ao facto de este tipo de partículas possuir uma curva de distribuição de dose em profundidade que apresenta um máximo ao qual se dá o nome de pico de Bragg. Antes do pico de Bragg a deposição de energia é praticamente constante, sendo que após este, decai bruscamente. Tendo em conta esta distribuição, Wilson propôs o uso de protões como técnica de alta precisão do tratamento do cancro. A terapia do cancro com partículas carregadas (protões e iões de carbono) tem vindo a mostrar um grande crescimento, sendo que atualmente já existem cerca de 38 centros no mundo onde esta técnica é utilizada. Um dos primeiros centros totalmente dedicado ao uso de partículas carregadas no tratamento do cancro é o Centro Nazionale di Adroterapia Oncologica (CNAO), que se situa em Itália. Neste centro é utilizada uma técnica de irradiação de tumores denominada de active scanning technique. Neste método, o tumor é dividido em "fatias" a diferentes profundidades. Em cada "fatia" é definido um conjunto de pontos que necessitam de ser irradiados de forma a obter-se, no final, uma distribuição de dose uniforme no tumor. A irradiação de cada "fatia" pode ser feita utilizando duas técnicas diferentes: o discrete scanning e o quadiscrete scanning. Na técnica de discrete scanning, o feixe de irradiação é guiado ao longo da "fatia" irradiando os pontos anteriormente definidos, sendo desligado durante a transição de pontos consecutivos. Na técnica de quasidiscrete scanning o feixe não é desligado nessas transições, levando à irradiação desnecessária das áreas onde não se encontram pontos de irradiação. Esta irradiação desnecessária, leva à deposição de uma dose extra no tumor, que senão for tida em conta pode influenciar a distribuição de dose final do tumor. Desta forma, uma optimização do caminho feito pelo feixe, pode levar a uma diminuição da dose extra. Adicionalmente, em ambas as técnicas (discrete e quasidiscrete scanning) uma optimização do caminho poderá também levar a uma diminuição do tempo de irradiação e da energia utilizada pelo equipamento. O principal objetivo desta tese foi estudar o efeito da optimização do caminho feito pelo feixe em planos de tratamento de pacientes do CNAO. Foram definidos os seguintes objetivos secundários: • Identificação de possíveis estratégias para resolução do problema proposto através do estudo da literatura corrente sobre algoritmos de optimização; • Implementação e avaliação da performance das estratégias identificadas, utilizando planos de tratamento de pacientes do CNAO; • Avaliação do efeito clínico da utilização dos métodos propostos; • Desenvolvimento de uma ferramenta capaz de optimizar o caminho percorrido pelo feixe, utilizando os métodos de optimização identificados. Esta tese encontra-se dividida em cinco capítulos. No primeiro capítulo foram introduzidos alguns conceitos sobre terapia do cancro com partículas carregadas e algoritmos de optimização. No capítulo 2 foi explicada a abordagem tomada para a resolução do problema e quais os métodos utilizados. Os resultados obtidos para os métodos propostos encontram-se no capítulo 3. Finalmente no capítulo 4 e 5 é apresentada a discussão dos resultados e as conclusões obtidas. De forma a cumprir os objetivos propostos, foram identificados dois principais algoritmos de optimização: Simulated Annealing (SA) e Algoritmos Genéticos (GAs). O SA foi anteriormente proposto por Pardo e Kang como uma possível solução para o problema identificado. Este algoritmo é baseado no processo de annealing para formação de cristais. Enquanto que os algoritmos genéticos baseiam-se no principio da sobrevivência dos mais fortes introduzido por Darwin. Tal como este principio, os GA podem ser divididos em três partes: seleção, crossover ou reprodução e mutação. Neste trabalho foram testados diferentes métodos de crossover e mutação, sendo que o método que ofereceu melhores resultados (uma convergência mais rápida para uma "boa" solução) foi um algoritmo genético híbrido - Hybrid Genetic Algorithm with Heuristics (HyGA). O HyGA e o SA foram utilizados para optimização dos caminhos feitos pelo feixe de irradiação em 10 planos de tratamento de pacientes do CNAO. Em comparação com o HyGA, o SA apresentou em média, caminhos mais longos para "fatias" com pequenas quantidades de pontos de irradiação e para "fatias" onde estes se encontravam distribuídos de forma não uniforme. Contudo, os dois algoritmos obtiveram caminhos mais curtos que o sistema de planeamento do CNAO (CNAO’s TPS). Estes algoritmos também evitaram a presença de interseções nos seus caminhos e a irradiação de áreas onde não existiam pontos de irradiação. De forma a evitar a irradiação de áreas onde não existem pontos de irradiação, no CNAO é utilizado um equipamento (o chopper), que deflecte o feixe na zona de extração, evitando a irradiação da "fatia". No CNAO, o chopper é utilizado quando a distância entre pontos consecutivos é maior que 2 cm. Tendo em conta a existência do chopper, o HyGA foi implementado com um método de clustering. Este método agrupa os pontos de irradiação numa "fatia" em diferentes grupos (clusters) e optimiza o caminho percorrido pelo feixe em cada grupo de forma independente. Neste método o chopper foi utilizado quando ocorresse uma transição entre clusters. As implicações clinicas dos métodos propostos (SA e HyGA) foram avaliadas tendo em conta o número de partículas entregues, o número de partículas desperdiçadas devido ao uso do chopper e o número de vezes que este foi utilizado. O estudo do número de partículas entregues foi feito recorrendo a um pencil beam algorithm. Relativamente ao número de partículas entregues o SA e o HyGA, apesar de apresentarem caminhos mais curtos, não reduziram o número de partículas entregues nos caminhos calculados com o CNAO’s TPS. Contudo, o mesmo não foi verificado para o HyGA com clustering, que obteve uma redução de cerca de 2%. Uma das implicações da utilização do chopper é um aumento no número de partículas desperdiçadas pelo equipamento. O HyGA e o SA obtiveram uma redução média de 86% e 93% no número de partículas desperdiçadas com o CNAO’s TPS, enquanto que com o HyGA com clustering foi registado um aumento médio de cerca de 41%. Tendo em conta os resultados obtidos, foi possível concluir que os algoritmos de optimização propostos poderão ser úteis para duas diferentes finalidades. A primeira é na redução da energia gasta pelo equipamento. No CNAO, isto pode ser alcançado utilizando os algoritmos SA e o HyGA, pois irão reduzir o número de partículas desperdiçadas. Enquanto que para centros onde o chopper não seja utilizado, estes algoritmos obterão caminhos mais curtos levando a uma redução no funcionamento do equipamento. A segunda finalidade é na redução na dose extra no paciente, que pode ser reduzida no CNAO utilizando o HyGA com clustering. Noutros centros esta redução será devida ao encurtamento dos caminhos percorridos pelo feixe de irradiação. Visto que cada um dos diferentes métodos de optimização apresenta desvantagens e vantagens, foi desenvolvida uma ferramenta que oferece a possibilidade do cálculo individual de cada "fatia" utilizando os diferentes algoritmos de optimização: SA, HyGA, HyGA com clustering e CNAO’s TPS. Em suma, como trabalho futuro deverá ser estudado o efeito que a dose extra, entregue pelos algoritmos SA e HyGA, terá num paciente.The CNAO (Centro Nazionale di Adroterapia Oncologica) performs charged particle therapy with an active scanning technique called quasidiscrete scanning. In active scanning the target volume is divided into isoenergy slices in which a set of irradiation spots is defined. The irradiation beam is then steered through the slice, delivering the number of particles prescribed to each spot. The beam is never turned off during the transition between irradiation spots, which leads to an extra dose of radiation delivered during these transitions. Optimization of the scan path for each slice is crucial for a reduction in the transit dose. The main aim of this work was to study the performance and the clinical implications of different optimization algorithms in ten real treatment plans from CNAO patients. The optimization algorithms used are Simulated Annealing and Genetic Algorithms. The performances of different genetic algorithm methods were studied, leading to the selection of the Hybrid Genetic Algorithm with Heuristics (HyGA). The SA and HyGA produced on average shorter paths than the current CNAO treatment plan system. At CNAO, in order to reduce the extra dose delivered to the patient, a device is used (the chopper), that deflects the beam out of the extraction line, when the transition between consecutive spots is greater than 2cm. To take advantage of this device, a clustering method was implemented with the HyGA, which assumed that the chopper was used during the transition between clusters. This method was able to reduce by 2% the number of particles delivered with the CNAO treatment plan system. One of the drawbacks of using the chopper is the high percentage of particles. The SA and HyGA were able to reduce the particles wasted significantly. However, they presented an increase of 3% and 5% in the particles delivered with the CNAO treatment plan system

A Comparative Study of Efficient Initialization Methods for the K-Means Clustering Algorithm

K-means is undoubtedly the most widely used partitional clustering algorithm. Unfortunately, due to its gradient descent nature, this algorithm is highly sensitive to the initial placement of the cluster centers. Numerous initialization methods have been proposed to address this problem. In this paper, we first present an overview of these methods with an emphasis on their computational efficiency. We then compare eight commonly used linear time complexity initialization methods on a large and diverse collection of data sets using various performance criteria. Finally, we analyze the experimental results using non-parametric statistical tests and provide recommendations for practitioners. We demonstrate that popular initialization methods often perform poorly and that there are in fact strong alternatives to these methods.Comment: 17 pages, 1 figure, 7 table

Machine Learning Techniques to Evaluate the Approximation of Utilization Power in Circuits

The need for products that are more streamlined, more useful, and have longer battery lives is rising in today's culture. More components are being integrated onto smaller, more complex chips in order to do this. The outcome is higher total power consumption as a result of increased power dissipation brought on by dynamic and static currents in integrated circuits (ICs). For effective power planning and the precise application of power pads and strips by floor plan engineers, estimating power dissipation at an early stage is essential. With more information about the design attributes, power estimation accuracy increases. For a variety of applications, including function approximation, regularization, noisy interpolation, classification, and density estimation, they offer a coherent framework. RBFNN training is also quicker than training multi-layer perceptron networks. RBFNN learning typically comprises of a linear supervised phase for computing weights, followed by an unsupervised phase for determining the centers and widths of the Gaussian basis functions. This study investigates several learning techniques for estimating the synaptic weights, widths, and centers of RBFNNs. In this study, RBF networks—a traditional family of supervised learning algorithms—are examined.  Using centers found using k-means clustering and the square norm of the network coefficients, respectively, two popular regularization techniques are examined. It is demonstrated that each of these RBF techniques are capable of being rewritten as data-dependent kernels. Due to their adaptability and quicker training time when compared to multi-layer perceptron networks, RBFNNs present a compelling option to conventional neural network models. Along with experimental data, the research offers a theoretical analysis of these techniques, indicating competitive performance and a few advantages over traditional kernel techniques in terms of adaptability (ability to take into account unlabeled data) and computing complexity. The research also discusses current achievements in using soft k-means features for image identification and other tasks

A generalizable data-driven multicellular model of pancreatic ductal adenocarcinoma.

BACKGROUND: Mechanistic models, when combined with pertinent data, can improve our knowledge regarding important molecular and cellular mechanisms found in cancer. These models make the prediction of tissue-level response to drug treatment possible, which can lead to new therapies and improved patient outcomes. Here we present a data-driven multiscale modeling framework to study molecular interactions between cancer, stromal, and immune cells found in the tumor microenvironment. We also develop methods to use molecular data available in The Cancer Genome Atlas to generate sample-specific models of cancer. RESULTS: By combining published models of different cells relevant to pancreatic ductal adenocarcinoma (PDAC), we built an agent-based model of the multicellular pancreatic tumor microenvironment, formally describing cell type-specific molecular interactions and cytokine-mediated cell-cell communications. We used an ensemble-based modeling approach to systematically explore how variations in the tumor microenvironment affect the viability of cancer cells. The results suggest that the autocrine loop involving EGF signaling is a key interaction modulator between pancreatic cancer and stellate cells. EGF is also found to be associated with previously described subtypes of PDAC. Moreover, the model allows a systematic exploration of the effect of possible therapeutic perturbations; our simulations suggest that reducing bFGF secretion by stellate cells will have, on average, a positive impact on cancer apoptosis. CONCLUSIONS: The developed framework allows model-driven hypotheses to be generated regarding therapeutically relevant PDAC states with potential molecular and cellular drivers indicating specific intervention strategies

An Improved Crow Search Algorithm for Data Clustering

Metaheuristic algorithms are often trapped in local optimum solutions when searching for solutions. This problem often occurs in optimization cases involving high dimensions such as data clustering. Imbalance of the exploration and exploitation process is the cause of this condition because search agents are not able to reach the best solution in the search space. In this study, the problem is overcome by modifying the solution update mechanism so that a search agent not only follows another randomly chosen search agent, but also has the opportunity to follow the best search agent. In addition, the balance of exploration and exploitation is also enhanced by the mechanism of updating the awareness probability of each search agent in accordance with their respective abilities in searching for solutions. The improve mechanism makes the proposed algorithm obtain pretty good solutions with smaller computational time compared to Genetic Algorithm and Particle Swarm Optimization. In large datasets, it is proven that the proposed algorithm is able to provide the best solution among the other algorithms

Particle Swarm Optimization

Particle swarm optimization (PSO) is a population based stochastic optimization technique influenced by the social behavior of bird flocking or fish schooling.PSO shares many similarities with evolutionary computation techniques such as Genetic Algorithms (GA). The system is initialized with a population of random solutions and searches for optima by updating generations. However, unlike GA, PSO has no evolution operators such as crossover and mutation. In PSO, the potential solutions, called particles, fly through the problem space by following the current optimum particles. This book represents the contributions of the top researchers in this field and will serve as a valuable tool for professionals in this interdisciplinary field