Utilizing hierarchical extreme learning machine based reinforcement learning for object sorting

Automatic and intelligent object sorting is an important task that can sort different objects without human intervention, using the robot arm to carry each object from one location to another. These objects vary in colours, shapes, sizes and orientations. Many applications, such as fruit and vegetable grading, flower grading, and biopsy image grading depend on sorting for a structural arrangement. Traditional machine learning methods, with extracting handcrafted features, are used for this task. Sometimes, these features are not discriminative because of the environmental factors, such as light change. In this study, Hierarchical Extreme Learning Machine (HELM) is utilized as an unsupervised feature learning to learn the object observation directly, and HELM was found to be robust against external change. Reinforcement learning (RL) is used to find the optimal sorting policy that maps each object image to the object’s location. The reason for utilizing RL is lack of output labels in this automatic task. The learning is done sequentially in many episodes. At each episode, the accuracy of sorting is increased to reach the maximum level at the end of learning. The experimental results demonstrated that the proposed HELM-RL sorting can provide the same accuracy as the labelled supervised HELM method after many episodes

Data Challenges and Data Analytics Solutions for Power Systems

L'abstract è presente nell'allegato / the abstract is in the attachmen

Implementación de redes neuronales artificiales en FPGA para la determinación del espectro de neutrones fase hardware

Las Redes Neuronales Artificiales (RNAs), se han utilizado con gran éxito en la resolución de complejas tareas en las que los métodos convencionales alcanzan un nivel demasiado complicado como para ser utilizados. Recientemente las RNAs se han aplicado exitosamente en el campo de la física nuclear, específicamente en la reconstrucción de espectros de neutrones, una tarea realmente compleja que era resuelta con métodos iterativos u otras técnicas que ya se están viendo desplazadas por la aplicación de esta tecnología. Generalmente las RNAs son desarrolladas en alguna plataforma o software como por ejemplo MATLAB R, en donde el diseñador cuenta con varias herramientas para el desarrollo y puesta a punto de sus redes. Sin embargo, se ha observado que para el proceso de reconstrucción de espectros de neutrones por RNAs, el diseñador realiza un gran esfuerzo en la configuración y ajuste de la RNA y una vez que la red ha sido entrenada y probada en la resolución de este problema, se sigue dependiendo de MATLAB R y de una computadora para el único propósito de ejecutar la RNA; por lo tanto, se detecta un área de oportunidad para la implementación hardware de RNAs orientadas a la reconstrucción de espectros de neutrones. Si bien, dentro de la literatura no hay reportadas implementaciones de RNAs en la tarea de reconstrucción de espectros, si ha habido varios esfuerzos por llevar las RNAs a hardware, con la finalidad de acelerar su ejecución y de explotar su explícito paralelismo. Existe una clara tendencia de implementar RNAs en una tecnología hardware conocida como FPGA, que en los últimos años ha cobrado una notable popularidad, debido a que cuenta con la arquitectura y los recursos idóneos para su implementación. En este trabajo se ha diseñado una arquitectura de RNA implementada en un FPGA y que funciona a partir de una neurona, el procesamiento de la red se realiza de forma cíclica sin comprometer el tiempo de ejecución de la RNA y con la característica de que es configurable, es decir, el diseño permite aumentar o disminuir el número de neuronas de las capas de la RNA y el manejo de hasta 4 diferentes funciones de activación. Para su realización, se ha utilizado la tarjeta de desarrollo Basys2, una tarjeta de bajas prestaciones que incorpora un FPGA de la familia Spartan 3E de Xilinx. Así mismo, para el análisis del desempeño de nuestro diseño, se utilizaron tres RNAs del Neural Network Toolbox de MATLAB R, ejecutándolas en sus versiones software y hardware, para posteriormente contrastar los resultados así obtenidos