Distributed computing methodology for training neural networks in an image-guided diagnostic application

Distributed computing is a process through which a set of computers connected by a network is used collectively to solve a single problem. In this paper, we propose a distributed computing methodology for training neural networks for the detection of lesions in colonoscopy. Our approach is based on partitioning the training set across multiple processors using a parallel virtual machine. In this way, interconnected computers of varied architectures can be used for the distributed evaluation of the error function and gradient values, and, thus, training neural networks utilizing various learning methods. The proposed methodology has large granularity and low synchronization, and has been implemented and tested. Our results indicate that the parallel virtual machine implementation of the training algorithms developed leads to considerable speedup, especially when large network architectures and training sets are used

A Temporally Coherent Neural Algorithm for Artistic Style Transfer

Within the fields of visual effects and animation, humans have historically spent countless painstaking hours mastering the skill of drawing frame-by-frame animations. One such animation technique that has been widely used in the animation and visual effects industry is called rotoscoping and has allowed uniquely stylized animations to capture the motion of real life action sequences, however it is a very complex and time consuming process. Automating this arduous technique would free animators from performing frame by frame stylization and allow them to concentrate on their own artistic contributions. This thesis introduces a new artificial system based on an existing neural style transfer method which creates artistically stylized animations that simultaneously reproduce both the motion of the original videos that they are derived from and the unique style of a given artistic work. This system utilizes a convolutional neural network framework to extract a hierarchy of image features used for generating images that appear visually similar to a given artistic style while at the same time faithfully preserving temporal content. The use of optical flow allows the combination of style and content to be integrated directly with the apparent motion over frames of a video to produce smooth and visually appealing transitions. The implementation described in this thesis demonstrates how biologically-inspired systems such as convolutional neural networks are rapidly approaching human-level behavior in tasks that were once thought impossible for computers. Such a complex task elucidates the current and future technical and artistic capabilities of such biologically-inspired neural systems as their horizons expand exponentially. Further, this research provides unique insights into the way that humans perceive and utilize temporal information in everyday tasks. A secondary implementation that is explored in this thesis seeks to improve existing convolutional neural networks using a biological approach to the way these models adapt to their inputs. This implementation shows how these pattern recognition systems can be greatly improved by integrating recent neuroscience research into already biologically inspired systems. Such a novel hybrid activation function model replicates recent findings in the field of neuroscience and shows significant advantages over existing static activation functions

Classification algorithms on the cell processor

The rapid advancement in the capacity and reliability of data storage technology has allowed for the retention of virtually limitless quantity and detail of digital information. Massive information databases are becoming more and more widespread among governmental, educational, scientific, and commercial organizations. By segregating this data into carefully defined input (e.g.: images) and output (e.g.: classification labels) sets, a classification algorithm can be used develop an internal expert model of the data by employing a specialized training algorithm. A properly trained classifier is capable of predicting the output for future input data from the same input domain that it was trained on. Two popular classifiers are Neural Networks and Support Vector Machines. Both, as with most accurate classifiers, require massive computational resources to carry out the training step and can take months to complete when dealing with extremely large data sets. In most cases, utilizing larger training improves the final accuracy of the trained classifier. However, access to the kinds of computational resources required to do so is expensive and out of reach of private or under funded institutions. The Cell Broadband Engine (CBE), introduced by Sony, Toshiba, and IBM has recently been introduced into the market. The current most inexpensive iteration is available in the Sony Playstation 3 ® computer entertainment system. The CBE is a novel multi-core architecture which features many hardware enhancements designed to accelerate the processing of massive amounts of data. These characteristics and the cheap and widespread availability of this technology make the Cell a prime candidate for the task of training classifiers. In this work, the feasibility of the Cell processor in the use of training Neural Networks and Support Vector Machines was explored. In the Neural Network family of classifiers, the fully connected Multilayer Perceptron and Convolution Network were implemented. In the Support Vector Machine family, a Working Set technique known as the Gradient Projection-based Decomposition Technique, as well as the Cascade SVM were implemented

A Comparison of the Use of Artificial Neural Networks, Fractal Time Series and Fractal Neural Networks in Financial Forecasts

Effective prediction of future financial states has been a major quest for groups ranging from national governments to individual investors. The size, diversity and complexity of financial markets make traditional statistical methods ineffective in predicting beyond a very short time frame. Alternative models using artificial neural networks and fractal time series have had better results in long-term predictions, but still do not work in all situations. This dissertation combined features of artificial neural networks and fractal time series to create a fractal neural network. Fractals exhibit repetitive patterns when a unit is broken down into its components. This similarity property was used to create a fractal neural network that could be broken out into separate, smaller neural networks. The recurring nature of the fractal pattern indicates that phenomena exhibiting repetitive patterns may be effectively modeled with fractal neural networks. Computer models of fractal time series, artificial neural networks and fractal neural networks were constructed and used to analyze and predict the exchange rate between the Deutschemark and the US Dollar and between the US dollar and the British Pound. Results confirmed that the exchange rates for 1994 to 1995 exhibit fractal patterns. Three layer artificial neural networks and fractal neural networks were constructed, trained on the 1994 data, and used to predict exchange rates for the first half of 1995. The number of correct predictions of the direction of change of the exchange rates calculated by the fractal neural network exceeded those produced by the artificial neural network for weekly Deutschemark and daily and weekly Pound exchange rates. When the predicted values were compared to actual values and used to form an investment strategy, the fractal network consistently produced a profit that exceeded that of the artificial neural network

Connecting mathematical models for image processing and neural networks

This thesis deals with the connections between mathematical models for image processing and deep learning. While data-driven deep learning models such as neural networks are flexible and well performing, they are often used as a black box. This makes it hard to provide theoretical model guarantees and scientific insights. On the other hand, more traditional, model-driven approaches such as diffusion, wavelet shrinkage, and variational models offer a rich set of mathematical foundations. Our goal is to transfer these foundations to neural networks. To this end, we pursue three strategies. First, we design trainable variants of traditional models and reduce their parameter set after training to obtain transparent and adaptive models. Moreover, we investigate the architectural design of numerical solvers for partial differential equations and translate them into building blocks of popular neural network architectures. This yields criteria for stable networks and inspires novel design concepts. Lastly, we present novel hybrid models for inpainting that rely on our theoretical findings. These strategies provide three ways for combining the best of the two worlds of model- and data-driven approaches. Our work contributes to the overarching goal of closing the gap between these worlds that still exists in performance and understanding.Gegenstand dieser Arbeit sind die Zusammenhänge zwischen mathematischen Modellen zur Bildverarbeitung und Deep Learning. Während datengetriebene Modelle des Deep Learning wie z.B. neuronale Netze flexibel sind und gute Ergebnisse liefern, werden sie oft als Black Box eingesetzt. Das macht es schwierig, theoretische Modellgarantien zu liefern und wissenschaftliche Erkenntnisse zu gewinnen. Im Gegensatz dazu bieten traditionellere, modellgetriebene Ansätze wie Diffusion, Wavelet Shrinkage und Variationsansätze eine Fülle von mathematischen Grundlagen. Unser Ziel ist es, diese auf neuronale Netze zu übertragen. Zu diesem Zweck verfolgen wir drei Strategien. Zunächst entwerfen wir trainierbare Varianten von traditionellen Modellen und reduzieren ihren Parametersatz, um transparente und adaptive Modelle zu erhalten. Außerdem untersuchen wir die Architekturen von numerischen Lösern für partielle Differentialgleichungen und übersetzen sie in Bausteine von populären neuronalen Netzwerken. Daraus ergeben sich Kriterien für stabile Netzwerke und neue Designkonzepte. Schließlich präsentieren wir neuartige hybride Modelle für Inpainting, die auf unseren theoretischen Erkenntnissen beruhen. Diese Strategien bieten drei Möglichkeiten, das Beste aus den beiden Welten der modell- und datengetriebenen Ansätzen zu vereinen. Diese Arbeit liefert einen Beitrag zum übergeordneten Ziel, die Lücke zwischen den zwei Welten zu schließen, die noch in Bezug auf Leistung und Modellverständnis besteht.ERC Advanced Grant INCOVI

Machine learning with Lipschitz classifiers

Magdeburg, Univ., Fak. für Elektrotechnik und Informationstechnik, Diss., 2010André Stuhlsat

Modelización y simulación de un sistema de control para ensayo de motores de combustión interna

La finalidad de este trabajo es la modelización y simulación de un sistema de control para ensayos de motores de combustión interna. Este modelo computarizado de tiempo real estará destinado a predecir el desempeño de un conjunto motor-freno y a evaluar el comportamiento de su unidad de control. Éste permitirá estudiar condiciones de inestabilidad del sistema, facilitará el ajuste de los parámetros de la unidad de control y hará posible reproducir fenómenos colaterales o respuestas inesperadas. Más aún, la disponibilidad de este modelo permitirá también anticipar el comportamiento del motor en condiciones especiales, reemplazando así en algunos casos a los propios ensayos con un consiguiente ahorro de tiempo y costos. Si bien la simulación de motores de combustión interna no es nueva, ya que desde los años ’70 se vienen registrando experiencias en este campo (Borman, 1971), es a partir de los ’90 que se produce un gran auge en este tipo de modelos, de la mano de los avances de la tecnología informática y del interés comercial que despiertan. Los objetivos perseguidos con estos modelos son muy diversos, pero tienen en común la necesidad de aportar información adicional a la obtenida con ensayos experimentales (Rubin, 1997). Entre otros beneficios, esto permite reducir el ciclo de desarrollo de nuevos productos, explorar nuevas soluciones y evaluar performances en dominios inaccesibles o en circunstancias en que los ensayos son muy costosos. Más recientemente, son los estudios orientados a la reducción del consumo y las emisiones nocivas de motores los que se han convertido en uno de los principales objetivos de estos modelos (Brace, 2001). Se identifica así, en el dominio del problema planteado, a un sistema que involucra la respuesta dinámica continua de un conjunto mecánico y la acción de una unidad digital de control que opera a partir del muestreo discreto de los valores reales de velocidad y carga. Más adelante, se describirán las características de este sistema de control y será necesario evaluar un modelo capaz de representar el comportamiento dinámico de un motor acoplado a un freno dinamométrico. Estos sistemas de control, que tienen la finalidad de operar sobre dominios continuos, dan lugar a un tipo particular de sistema denominado “híbrido”. Estos sistemas híbridos combinan, por lo tanto, componentes discretos y continuos que interactúan entre sí y responden a concepciones de naturaleza diferente, a pesar de que en última instancia el subsistema discreto no es más que una abstracción de la realidad. Estas dos dinámicas coexisten y es necesario representarlas con modelos que reflejen esta interacción, reconociéndose que las mayores dificultades se originan en la necesidad de sincronizar sus comportamientos. Podría afirmarse que en la actualidad los sistemas de control, en su mayoría, pueden ser reconocidos en alguna medida como híbridos ya que en realidad todo sistema de computación que interactúa con el mundo real queda encuadrado en esta categoría. En este punto cabe destacar que los sistemas de control forman parte de las numerosas aplicaciones de tiempo real que son desarrolladas en la actualidad. Éstas abarcan un amplio espectro de destinos, que incluye desde la industria bélica hasta equipos de uso doméstico, y es indudable que la atención de dicha demanda tiene un fuerte impacto en todos los campos de la informática. Estas aplicaciones se caracterizan tanto por sus particulares exigencias de confiabilidad, eficiencia y rápida respuesta como por la diversidad de disciplinas que involucran. Entre estas últimas, se incluyen los lenguajes de programación, protocolos de comunicaciones, arquitectura del hardware, modelos matemáticos, sistemas operativos y teoría de control. De esta forma, los sistemas de tiempo real se han incorporado a la creciente demanda de software especializado que se verifica en la actualidad. Además, el abaratamiento del hardware y el incremento de la densidad de integración hace propicia la realización de sistemas cada vez más complejos y es de preverse que esta tendencia se acentúe en el futuro próximo. Así, la necesidad de dar respuesta a esta demanda no ha hecho más que incorporar nuevas exigencias al gran esfuerzo que se viene realizando para superar definitivamente la llamada “crisis del software” y que ha justificado una muy importante inversión de recursos, tanto intelectuales como económicos. Estos esfuerzos han estado orientados a establecer nuevas técnicas, métodos y herramientas que permitan tanto mejorar la calidad de los desarrollos de software como así también a aumentar la productividad de los procesos conducentes a tales desarrollos, aumentando eficiencia y eficacia. Sin embargo, en la actualidad resulta preocupante comprobar que, en muchos casos, son los intereses comerciales los que orientan el mercado aun en direcciones que se contraponen con lo que indicarían otros puntos de vista, incluido el técnico. Se acentúa una visión simplista e ingenua de que el desarrollo de sistemas complejos se simplifica con la sola utilización de los métodos que han dado buenos resultados en otros campos de aplicación, o de que todo se resuelve incrementando los recursos de hardware. Coexiste, felizmente, otra realidad determinada por el ya mencionado amplio espectro de buenas técnicas y herramientas de análisis y diseño de sistemas que han sido desarrolladas y están disponibles. El esfuerzo debe ahora orientarse a hacer que trasciendan los ámbitos de los centros de investigación y se incorporen al mercado cotidiano. De una manera indudablemente muy modesta, este trabajo espera hacer su aporte en este sentido, demostrando que es posible desarrollar e implementar un simulador de tiempo real de una unidad de control a través de un procedimiento sistemático, racional y riguroso, a los fines de asegurar un modelo que sea a la vez correcto, completo y consistente.Facultad de Informátic

Deterministic nonmonotone strategies for effective training of multilayer perceptrons

We present deterministic nonmonotone learning strategies for multilayer perceptrons (MLPs), i.e., deterministic training algorithms in which error function values are allowed to increase at some epochs. To this end, we argue that the current error function value must satisfy a nonmonotone criterion with respect to the maximum error function value of the M previous epochs, and we propose a subprocedure to dynamically compute M. The nonmonotone strategy can be incorporated in any batch training algorithm and provides fast, stable, and reliable learning. Experimental results in different classes of problems show that this approach improves the convergence speed and success percentage of first-order training algorithms and alleviates the need for fine-tuning problem-depended heuristic parameters