Deep Learning-Based Multiple Object Visual Tracking on Embedded System for IoT and Mobile Edge Computing Applications

Compute and memory demands of state-of-the-art deep learning methods are still a shortcoming that must be addressed to make them useful at IoT end-nodes. In particular, recent results depict a hopeful prospect for image processing using Convolutional Neural Netwoks, CNNs, but the gap between software and hardware implementations is already considerable for IoT and mobile edge computing applications due to their high power consumption. This proposal performs low-power and real time deep learning-based multiple object visual tracking implemented on an NVIDIA Jetson TX2 development kit. It includes a camera and wireless connection capability and it is battery powered for mobile and outdoor applications. A collection of representative sequences captured with the on-board camera, dETRUSC video dataset, is used to exemplify the performance of the proposed algorithm and to facilitate benchmarking. The results in terms of power consumption and frame rate demonstrate the feasibility of deep learning algorithms on embedded platforms although more effort to joint algorithm and hardware design of CNNs is needed.Comment: This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessibl

Deep Learning para la Detección de Peatones y Vehículos

Dado el reciente desarrollo y el impacto que ha tenido el paradigma de Deep Learning en el campo de la Inteligencia Artificial, el presente trabajo tiene como base el interés en este paradigma de aprendizaje, en específico empleando redes neuronales convolucionales (CNNs), para la detección o clasificación de objetos en imágenes; además se analiza las ventajas de implementar estos algoritmos en hardware. El objeto de estudio del aprendizaje automático es tratar de emular la inteligencia humana de forma artificial. Se ha trabajado en este campo por años, con diferentes enfoques y algoritmos. En la última década, el paradigma del Deep Learning ha revolucionado el estado del arte en tareas como reconocimiento de voz, visión artificial y el procesamiento del lenguaje natural; que resultaban difíciles de llevar a cabo por una máquina. Las técnicas que predominan en este paradigma son las CNNs, se utilizan como principal algoritmo en tareas que involucran visión artificial, tales como la detección de objetos. Se ha logrado un despunte importante en el reconocimiento de patrones en imágenes y video empleando estas técnicas, al grado de superar la capacidad humana. Un factor importante para ese desarrollo es la capacidad de procesar altos volúmenes de información en aplicaciones exitosas, lo que ha derivado en que los dispositivos empleados para dicho propósito, como GPUs y CPUs multinúcleo requieran de gran cantidad de energía para su funcionamiento. Recientemente, han surgido investigaciones enfocadas en buscar alternativas de hardware, sobre el cual implementar las CNNs de forma eficiente, sobre todo para aplicaciones embebidas. Una de estas alternativas son los Arreglos de Compuertas Programables en Campo (FPGAs), que ofrecen la capacidad de procesamiento en paralelo espacial y temporal, un menor tiempo de latencia y bajo consumo de potencia; lo que resulta ideal para ese tipo de aplicaciones. El presente trabajo se divide en dos partes, por un lado se hace la implementación del paradigma Deep Learning con una CNN para clasificar imágenes de señales de tránsito vehicular (como primer caso de estudio), con el propósito de medir el tiempo de entrenamiento y su desempeño en la clasificación. Por otro lado, se investiga la tecnología relacionada con FPGAs, para determinar la forma en que se puede acelerar el cómputo implicado en ese tipo de redes con estos dispositivos, validándolos como una alternativa de implementación para sistemas embebidos. Los resultados obtenidos en la presente investigación son: 1) La programación, entrenamiento y prueba de una CNN. Se realizaron una serie de experimentos, encontrando un error en la clasificación de 3.25% y un tiempo de entrenamiento de 0.33 horas, para los mejores casos de los ensayos realizados. 2) Se analizan las ventajas de implementar este tipo de algoritmos en FPGAs, sus restricciones, requisitos y tres alternativas de desarrollo.CONACY

Optimization of convolutional neural networks for image classification using genetic algorithms and bayesian optimization

Notwithstanding the recent successes of deep convolutional neural networks for classification tasks, they are sensitive to the selection of their hyperparameters, which impose an exponentially large search space on modern convolutional models. Traditional hyperparameter selection methods include manual, grid, or random search, but these require expert knowledge or are computationally burdensome. Divergently, Bayesian optimization and evolutionary inspired techniques have surfaced as viable alternatives to the hyperparameter problem. Thus, an alternative hybrid approach that combines the advantages of these techniques is proposed. Specifically, the search space is partitioned into discrete-architectural, and continuous and categorical hyperparameter subspaces, which are respectively traversed by a stochastic genetic search, followed by a genetic-Bayesian search. Simulations on a prominent image classification task reveal that the proposed method results in an overall classification accuracy improvement of 0.87% over unoptimized baselines, and a greater than 97% reduction in computational costs compared to a commonly employed brute force approach.Electrical and Mining EngineeringM. Tech. (Electrical Engineering