Finite Bivariate and Multivariate Beta Mixture Models Learning and Applications

Finite mixture models have been revealed to provide flexibility for data clustering. They have demonstrated high competence and potential to capture hidden structure in data. Modern technological progresses, growing volumes and varieties of generated data, revolutionized computers and other related factors are contributing to produce large scale data. This fact enhances the significance of finding reliable and adaptable models which can analyze bigger, more complex data to identify latent patterns, deliver faster and more accurate results and make decisions with minimal human interaction. Adopting the finest and most accurate distribution that appropriately represents the mixture components is critical. The most widely adopted generative model has been the Gaussian mixture. In numerous real-world applications, however, when the nature and structure of data are non-Gaussian, this modelling fails. One of the other crucial issues when using mixtures is determination of the model complexity or number of mixture components. Minimum message length (MML) is one of the main techniques in frequentist frameworks to tackle this challenging issue. In this work, we have designed and implemented a finite mixture model, using the bivariate and multivariate Beta distributions for cluster analysis and demonstrated its flexibility in describing the intrinsic characteristics of the observed data. In addition, we have applied our estimation and model selection algorithms to synthetic and real datasets. Most importantly, we considered interesting applications such as in image segmentation, software modules defect prediction, spam detection and occupancy estimation in smart buildings

Algoritmos baseados em inteligência de enxames aplicados à multilimiarização de imagens

Orientador: Prof. Dr. Leandro dos Santos CoelhoDissertação (mestrado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Engenharia Elétrica. Defesa : Curitiba, 20/08/2018Inclui referências: p.117-122Área de concentração: Sistemas EletrônicosResumo: O processamento de imagens é uma área que cresce à medida que as tecnologias de geração e armazenamento de informações digitais evoluem. Uma das etapas iniciais do processamento de imagem é a segmentação, onde a multilimiarização é uma das técnicas de segmentação mais simples. Um focorelevante de pesquisa nesta área é o projeto de abordagens visando a separação de diferentes objetos na imagem em grupos, por meio de limiares, para facilitar assim a interpretação da informação contida na imagem. Uma imagem perde informação, ou entropia, quando é limiarizada. A equação de limiarização multiníveis de Kapur calcula, a partir dos limiares escolhidos, qual a quantidade de informação que uma imagem apresentará após a limiarização. Assim, pela maximização da equação de multimiliarização de Kapur, é possível determinar os limiares que retornam uma imagem com valor maior de entropia. Quanto maior a quantidade de limiares, maior a dificuldade para encontrar a melhor solução, devido ao aumento significativo da quantidade de possíveis soluções. O objetivo desta dissertação é de apresentar um estudo comparativodecinco algoritmos de otimização (meta-heurísticas de otimização)da inteligência de enxame, incluindo Otimização por Enxame de Partículas (PSO), Otimização por Enxame de Partículas Darwiniano (DPSO), Otimização por Enxame de Partículas Darwiniano de Ordem Fracionária (FO-DPSO), Otimizador baseado no comportamento dos Lobos-cinza (GWO) e Otimizador inspirado no comportamento da Formiga-leão (ALO), de forma a avaliarqual deles obtém a melhor solução e convergência em termos da função objetivo relacionada a entropia da imagem. Uma contribuição desta dissertação é a aplicação de diferentes meta-heurísticas de otimização ao problema de multilimiarização de imagens, assim como o estudo do impacto das suas variáveis de controle (hiperparâmetros) para o problema em questão.Nesta dissertação são apresentados resultados paraquatro imagens diferentes, sendo duas imagens registradas por satélite (Rio Hunza e Yellowstone) e outras duas imagens teste (benchmark) obtidas do Centro de Engenharia Elétrica e Ciência da Computação do MIT (Massachussetts Institute of Technology). Os resultados são comparados considerando a média e o desvio padrão da entropia de cada imagem resultante. Com base nos resultados obtidos conclui-se que o algoritmo mais indicado para o problema de multilimiarização de imagens dos avaliados é o GWO, pelo seu desempenho superior em relação aos outros algoritmos e pelas entropias das imagens resultantes serem satisfatórias. Palavras-chave: Segmentação de imagens. Multilimiarização. Inteligência de enxames. Otimização por enxame de partículas. Otimizador dos lobos-cinza. Otimizador formiga-leão.Abstract: Image processing is a field that grows as digital information storage and generation technologies evolution. One of the initial stages of image processing is segmentation procedure, where the multi level thresholding is one of the simplest segmentation approaches. A relevant research objective in this field is the design of approaches aimed at separating different objects in the image into groups, through thresholds, to facilitate the interpretation of the information contained in the image. An image loses information, or entropy, when it is thresholded. The Kapur multilevel thresholding equation calculates, from the chosen thresholds, how much information an image will present after the thresholding. Thus, by the maximization of the Kapur multilevel limiarization equation, it is possible to determine the thresholds that return an image with a larger value of entropy. The higher the amount of thresholds, the greater the difficulty in finding the best solution, due to the significant increase in the quantity of possible solutions. The objective of this dissertation is to present a comparative study between fiveoptimization metaheuristics of the swarm intelligence field, including Particle Swarm Optimization (PSO), Darwinian Particle Swarm Optimization (DPSO), Fractional Order Darwinian Particle Swarm Optimization (FO-DPSO), Grey Wolf Optimizer (GWO) and the Ant lion behavioral optimizer (ALO), in order to identify which one gets the best solution and convergence in terms of the objective function and the entropy of the image. A contribution of this dissertation is the application of different optimization metaheuristics to the problem of multilimizing of images, as well as the study of the impact of its control variables (hyperparameters) on the problem in question. Experiments are conducted with four images, two images being recorded by satellite (Hunza River and Yellowstone) and two other test(benchmark) images obtained from MIT's (Massachussetts Institute of Technology) Electrical Engineering and Computer Science Center. The results are compared considering the mean and standard deviation values of each resulting image entropy.Based on the results obtained it is concluded that the most suitable algorithm for the problem of multilevel thresholding of images is the GWO, for its superior performance in relation to the other tested algorithms and satisfactory entropies of the resulting images. Key-words: Image segmentation. Multilevel thresholding. Kapur's entropy. Swarm intelligence. Particle swarm optimization. Grey wolf optimizer. Ant lion optimizer