Estudio de mecanismos de foveación para un sensor de visión neuromórfico

Este trabajo se realizó en el Grupo de Sistemas Neuromórficos del Instituto de Microelectrónica de Sevilla. En el cual se trabaja en la implementación en hardware de sistemas de procesamiento de visión bio-inspirados. A pesar del impresionante desarrollo de los sistemas de computación durante las últimas décadas, el cerebro humano sigue demostrando una capacidad inalcanzable de procesar información sensorial a muy alta velocidad, con muy bajo consumo de potencia y minimizándose cantidad de datos necesarios. Esto se debe a la eficiencia del procesamiento neuronal, masivamente paralelo. En el grupo se diseñan sensores de visión basados en eventos que emulan la retina humana. No se trabaja con fotogramas, sino con flujos continuos de impulsos eléctricos (que llamamos eventos o 'spikes') producidos de forma asíncrona por cada foto-sensor (o píxel) de la retina de forma autónoma cuando detecta un cambio suficiente de luz. Cada píxel almacena un nivel de brillo de referencia y lo compara continuamente con el nivel de brillo actual. Si la diferencia de brillo supera un umbral, ese píxel restablece su nivel de referencia y genera un evento, en el que se codifica el tiempo, la ubicación y el signo del cambio de brillo. Las cámaras de eventos permiten capturar el movimiento con mucha más resolución temporal y menos consumo de energía. Además de aumentar el rango dinámico y disminuir el desenfoque de movimiento. La visión humana usa un mecanismo de foveación para maximizar la resolución espacial en la zona donde se enfoca la vista mientras que mantiene una baja resolución en las zonas de visión periférica. Así se reduce la cantidad de información generada por la retina manteniendo la capacidad de reconocimiento visual. Este proyecto se enmarca en el estudio de la aplicación de un mecanismo de foveación sobre los sistemas de visión artificial basada en eventos. En concreto, se ha modelado a nivel de software distintas estrategias para controlar de forma dinámica la resolución de un sensor de visión, usando la máxima resolución posible en una o varias regiones de interés (identificadas a partir de distintos métodos de detección y seguimiento de objetos) y reduciendo la resolución en la periferia, con el fin de estudiar su comportamiento; hacerse una idea de la resolución que se debe aplicar y de otros parámetros cuando se implemente en hardware. Se parte de una grabación de eventos, se convierte a fotogramas, luego se interpolan las intensidades de esos fotogramas para aumentar la resolución temporal, se seleccionan las zonas de interés, se le aplica la foveación combinando pixeles en la periferia de los objetos, y finalmente se generan eventos con las imágenes modificadas.This work was carried out in the Neuromorphic Systems Group of the Microelectronics Institute of Seville. It is working on the hardware implementation of bio-inspired vision processing systems. Despite the impressive development of computing systems over the last decades, the human brain still demonstrates an unattainable ability to process sensory information at very high speed, with very low power consumption and minimising the amount of data required. This is due to the efficiency of massively parallel neural processing. The group designs event-driven vision sensors that emulate the human retina. We do not work with frames, but with continuous streams of electrical impulses (which we call events or 'spikes') produced asynchronously by each photo-sensor (or pixel) in the retina autonomously when it detects a sufficient change in light. Each pixel stores a reference brightness level and continuously compares it to the current brightness level. If the difference in brightness exceeds a threshold, that pixel resets its reference level and generates an event, encoding the time, location and sign of the brightness change. Event cameras allow motion to be captured with much higher temporal resolution and lower power consumption. They also increase dynamic range and decrease motion blur. Human vision uses a foveation mechanism to maximise spatial resolution in the area where the view is focused while maintaining low resolution in the peripheral vision areas. This reduces the amount of information generated by the retina while maintaining visual recognition capability. This project is part of the study of the application of a foveation mechanism on event-based artificial vision systems. Specifically, different strategies have been modelled at software level to dynamically control the resolution of a vision sensor, using the maximum possible resolution in one or several regions of interest (identified from different object detection and tracking methods) and reducing the resolution in the periphery, in order to study its behaviour; to get an idea of the resolution to be applied and other parameters when implemented in hardware. We start from a recording of events, convert it to frames, then interpolate the intensities of those frames to increase the temporal resolution,select the areas of interest, apply foveation by combining pixels at the periphery of the objects, and finally generate events with the modified images.Universidad de Sevilla. Máster en Ingeniería Electrónica, Robótica y Automátic

Sistema de asistencia a la navegación humana basado en la cámara de eventos

El objetivo principal de este trabajo es el desarrollo y evaluación de un sistema de asistencia a la navegación de personas basado en la innovación de la cámara de eventos. Esta novedosa tecnología tiene potencial suficiente para revolucionar el actual paradigma de los sensores de visión, gracias a su gran rapidez y sensibilidad al movimiento, abriendo el camino hacia las aplicaciones de detección de colisiones.Con la realización del trabajo, se ha abordado el análisis de la información que proporciona la cámara de eventos, el diseño y simulación del sistema de asistencia a la navegación humana, la adaptación del procesamiento de imágenes a la cámara de eventos y su evaluación como sensor de visión de los sistemas de asistencia a la navegación humana.Para conseguir los objetivos propuesto en este trabajo se ha realizado el estudio teórico de la cámara de eventos, el desarrollo del propio sistema de asistencia a la navegación y su validación ante escenarios y movimientos realistas mediante el simulador ESIM de la cámara de eventos y el motor gráfico Unreal Engine.En este trabajo se ha conseguido desarrollar, simular y validar el sistema de asistencia a la navegación humana basado en la cámara de eventos, además de progresar en el conocimiento e implementación de la cámara de eventos como sensor de visión.<br /

Robot de seguridad controlado por WIFI “Cerberus 1.0”

Las empresas enfrentan día a día las problemáticas que se dan en los sistemas de seguridad, como el robo de equipos, pérdida de mercancía, entre otros. En países subdesarrollados se utilizan equipos de seguridad fijos como cámaras, alarmas y personal de vigilancia; sin embargo, los equipos no se verifican constantemente con el fin de observar que las imágenes que envían las cámaras por ejemplo, estén actualizadas constantemente y con el ángulo que menos genere puntos ciegos (espacio o lugar que el equipo no puede observar lo que sucede); así mismo, la rotación que en ocasiones se genera en el personal de vigilancia hace que las personas nuevas no tengan suficiente conocimiento sobre las salidas de emergencia de la empresa, como reaccionar en caso de estar expuesto a un incendio o inundación, lo que hace vulnerable la integridad física de estas personas, especialmente en zonas industriales donde pueden estar expuestos a altas temperaturas o fugas de gases. Mientras que a nivel internacional en países desarrollados, se podrá observar por medio de este documento algunos robots que han sido implementados con el fin de salvaguardar la vida de estas personas pero estos equipos son demasiados costosos. Por consiguiente, con Cerberus 1.0 se pretende iniciar el desarrollo de la primera etapa de un robot de vigilancia, el cual sea menos costoso y que en un futuro cercano pueda ser utilizado por las empresas nacionales

Diseño e implementación de un sistema de reconocimiento de naranjas para el robot GIO 1 usando visión asistida por computador

Investigación TecnológicaEn este documento trata de la implementación de un sistema de reconocimiento de naranjas para el robot GIO1 usando visión asistida por computador, que será desarrollado con el fin de mejorar las características de la plataforma robótica GIO 1, para que este sea capaz de diferenciar las naranjas de otros objetos (piedras u otros frutos) en entornos controlados.PregradoIngeniero Electrónic

Aplicación de trazabilidad de productos en líneas de fabricación de cosmética

Este Trabajo de Fin de Grado (TFG) se centra en los conceptos de Automatización y Trazabilidad en la industria, más concretamente en la industria de cosmética, y la importancia que tiene implementar sus soluciones en las líneas de producción. Para entender de forma más realista el concepto de Automatización se ha desarrollado, con la ayuda de Sysmac Studio (una plataforma para la automatización de líneas de producción de la empresa Omron) un robot SCARA en 3D que lleva a cabo el movimiento de coger y dejar una pieza, similar al que realizaría un robot en una línea de producción real, por ejemplo, cuando se necesita retirar una pieza defectuosa de la cinta transportadora. Utilizando el mismo software y el sensor de visión FQ-M de Omron se han utilizado dos métodos de detección de piezas, para entender mejor el concepto de Trazabilidad.This Final Degree Project (TFG) focuses on the concepts of Automation and Traceability in the industry, more specifically in the cosmetics industry, and the importance of implementing its solutions in production lines. To understand the concept of Automation more realistically, a 3D SCARA robot has been developed with the help of Sysmac Studio (a platform for the automation of production lines of the Omron company) that carries out the movement of picking up and leaving a part, similar to what a robot would perform on a real production line, for example, when a defective part needs to be removed from the conveyor belt. Using the same software and Omron’s FQ-M vision sensor, two part detection methods have been used to understand better the concept of Traceability.Grado en Ingeniería en Tecnologías de Telecomunicació

Implementación de instalaciones prácticas para aprendizaje de instrumentación electrónica

[SPA] El presente proyecto tiene como objetivo la puesta en marcha de distintas instalaciones prácticas basadas en modernos sensores que han sido proporcionados por el laboratorio de Instrumentación Electrónica de la Universidad Politécnica de Cartagena, con el fin de que los estudiantes experimenten y aprendan bajo condiciones reales cómo se utilizan los sensores en procesos industriales discretos. Cada instalación práctica se acompaña de su respectivo manual que contiene los conceptos teóricos de cada sensor, sus aplicaciones en la industria, el trabajo previo que el estudiante debe completar antes de realizar la práctica, diagrama de conexionado, ajuste y calibración, funcionamiento y por último, una serie de preguntas a modo de evaluación que el alumno deberá completar y entregar tras la realización de la práctica según indique el profesor responsable. [ENG] The objective of this project is to set up different practical installations based on modern sensors that have been provided by the Electronic Instrumentation Laboratory of the Polytechnic University of Cartagena, so that students can experiment and learn under real conditions how sensors are used en discrete industrial processes. Each practical installation is accompanied by its respective manual that contains the theoretical concepts of each sensor, its applications in the industry, the previous work that the student must complete before carrying out the practice, connection diagram, adjustment and calibration, performance and finally, a series of questions as an evaluation that the student must complete and submit after completing the practice as indicated by the responsible teacher.Escuela Técnica Superior de Ingeniería IndustrialUniversidad Politécnica de Cartagen

Construcción de mapas 3D densos para navegación de un robot móvil

Se quiere realizar la navegación y localización de un robot mediante técnicas de V-SLAM Visual Simultaneous Localization And Mapping) las cuales se fundamentan en la realización de mapas y localización del robot en el mundo mediante sensores de visión. Se van a recoger los datos que proporciona el sensor de visión y procesarlos para obtener la información que necesita el robot para conocer como es el entorno que le rodea, de forma que pueda tomar decisiones autónomas con las que llegar al destino designado previamente, evitando los obstáculos que puedan impedir el avance del robot. La información que requiere el robot es un mapa de ocupación del entorno y su posición en dicho mapa para poder planificar sus trayectorias. Para realizar esta tarea se va a utilizar un sensor RGB-D y el algoritmo desarrollado en la Universidad de Zaragoza ORBSLAM2

Simulación de la plataforma robótica HOAP-3 en el simulador OPENHRP3

Este proyecto tiene como objetivo el modelado de la plataforma robótica HOAP-3 en el simulador OpenHRP3. Dicho modelado permitirá la simulación de tareas del robot HOAP-3 en el entorno virtual, permitiendo la validación de las mismas para luego programarlas directamente sobre el robot. En primer lugar, se realizará un estudio de dicho simulador y de sus características principales. Es decir, los programas que necesita OpenHRP3 para ejecutarse y la estructura interna del simulador. Posteriormente, se desarrollará el modelo VRML del robot HOAP-3 para la plataforma OpenHRP3 siguiendo todas las características cinemáticas y dinámicas de dicho robot. A continuación, una vez desarrollado el modelo se programarán distintas tareas del robot HOAP-3 en el simulador. Por último, se probarán dichas tareas en el propio robot para comprobar si funcionan correctamente. De este modo, se validarán dichas tareas y el modelo del robot en el simulador OpenHRP3.Ingeniería Técnica en Electrónic

Estimación de distancias mediante un sistema de estéreo-visión basado en retinas DVS

La estimación de distancias es uno de los objetivos más importantes en todo sistema de visión artificial. Para poder llevarse a cabo, es necesaria la presencia de más de un sensor de visión para poder enfocar los objetos desde más de un punto de vista y poder aplicar la geometría de la escena con tal fin. El uso de sensores DVS supone una diferencia notable, puesto que la información recibida hace referencia únicamente a los objetos que se encuentren en movimiento dentro de la escena. Este aspecto y la codificación de la información utilizada hace necesario el uso de un sistema de procesamiento especializado que, en busca de la autonomía y la paralelización, se integra en una FGPA. Esta demostración integra un escenario fijo, donde un objeto móvil realiza un movimiento continuo acercándose y alejándose del sistema de visión estéreo; tras el procesamiento de esta información, se aporta una estimación cualitativa de la posición del objeto.Image processing in digital computer systems usually considers the visual information as a sequence of frames. Digital video processing has to process each frame in order to obtain a result or detect a feature. In stereo vision, existing algorithms used for distance estimation use frames from two digital cameras and process them pixel by pixel to obtain similarities and differences from both frames; after that, it is calculated an estimation about the distance of the different objects of the scene. Spike-based processing implements the processing by manipulating spikes one by one at the time they are transmitted, like human brain. The mammal nervous system is able to solve much more complex problems, such as visual recognition by manipulating neuron’s spikes. The spike-based philosophy for visual information processing based on the neuro-inspired Address-Event- Representation (AER) is achieving nowadays very high performances. In this work, it is proposed a two-DVS-retina connected to a Virtex5 FPGA framework, which allows us to obtain a distance approach of the moving objects in a close environment. It is also proposed a Multi Hold&Fire algorithm in VHDL that obtains the differences between the two retina output streams of spikes; and a VHDL distance estimator.Plan Propio de la Universidad de Sevilla Proyecto: 2017/00000962Ministerio de Industria, Competitividad e Innovación (España) COFNET TEC2016-77785-

Automatización del proceso de fabricación de tarrinas de helado

[ES] La industria 4.0 está cada vez más implementada en las factorías, en el siguiente trabajo de fin de grado se ha diseñado y programado una automatización industrial. Con un software de virtualización, se podrá analizar el correcto funcionamiento de la planta. También se han realizado los esquemas de mando, fuerza y dos presupuestos, uno del material a utilizar y otro de la mano de obra del programador, así poder tener un estudio económico aproximado. En este documento se podrán encontrar los pasos para crear la planta y realizar la programación.[EN] Industry 4.0 is increasingly implemented in factories, in the following final degree project an industrial automation has been designed and programmed. With virtualization software, the correct operation of the plant can be analyzed. The command, strength and two budget schemes have also been made, one of the material to be used and the other of the programmer's workforce, in order to have an approximate economic study. In this document you can find the steps to create the plant and perform the programming.Doménech Peiró, J. (2020). Automatización del proceso de fabricación de tarrinas de helado. http://hdl.handle.net/10251/148064TFG