Neuroevolutionary Training of Deep Convolutional Generative Adversarial Networks

Recent developments in Deep Learning are noteworthy when it comes to learning the probability distribution of points through neural networks, and one of the crucial parts for such progress is because of Generative Adversarial Networks (GANs). In GANs, two neural networks, Generator and Discriminator, compete amongst each other to learn the probability distribution of points in visual pictures. A lot of research has been conducted to overcome the challenges of GANs which include training instability, mode collapse and vanishing gradient. However, there was no significant proof found on whether modern techniques consistently outperform vanilla GANs, and it turns out that different advanced techniques distinctively perform on different datasets. In this thesis, we propose two neuroevolutionary training techniques for deep convolutional GANs. We evolve the deep GANs architecture in low data regime. Using Fréchet Inception Distance (FID) score as the fitness function, we select the best deep convolutional topography generated by the evolutionary algorithm. The parameters of the best-selected individuals are maintained throughout the generations, and we continue to train the population until individuals demonstrate convergence. We compare our approach with the Vanilla GANs, Deep Convolutional GANs and COEGAN. Our experiments show that an evolutionary algorithm-based training technique gives a lower FID score than those of benchmark models. A lower FID score results in better image quality and diversity in the generated images

Advancing evolution of artifcial neural networks through behavioral adaptation

Diese Dissertation betrifft das Lernen in künstlichen neuronalen Netzen und präsentiert einen neuen evolutionären Algorithmus (Network-Weight-based Evolutionary Algorithm, NWEA), der zusätzliche Mechanismen der Natur in Computational Evolution involviert. NWEA ist eine Lernstrategie, die Information über die Position des Individuums im Suchraum, seine Güte und ANN Topologie in dem Modifikationsmechanismus enthält. Der Grundgedanke von NWEA war eine Verhaltensadaptation neben der strukturellen Adaptation durchzuführen und damit die Verbindung zwischen Individuen und Umwelt zu ermöglichen. Der NWEA Modifikationsstrategie nutzt sowohl Genotyp als auch Phänotyp Information im Evolutionsprozess. Genotyp Information ist durch den Ausgabefehler des Netzes dargestellt. Phänotyp Information ist in der Komponente network weight integriert, die die Struktur des Netzes beschreibt und von der Gesamtzahl der verbogenen Schichten und der durchschnittlichen Anzahl der verbogenen Neuronen abhängig ist