A New Structure of Stereo Algorithm Using Pixel Based Differences and Weighted Median Filter

This paper proposed a new algorithm for stereo vision system to obtain depth map or disparity map. The proposed stereo vision algorithm consists of three stages, matching cost computation, disparity optimization and disparity refinement. The first stage starts with matching cost computation, where pixel based differences methods are used. The matching methods are the combination of Absolute Difference (AD) and Gradient Matching (GM). Next, the second stage; disparity optimization utilizes Winner-Takes-All (WTA) technique to normalize the disparity values of each pixel of the image. Finally, for disparity refinement stage, weighted median (WM) filter is added to reduce and smother the noise on the disparity map

Control de un robot móvil para el seguimiento de objetos mediante realimentación visual.

El fin del presente trabajo de titulación fue el desarrollo de un sistema de control de un robot móvil para el seguimiento de objetivos mediante retroalimentación visual. Un sistema de visión monocular montado sobre un robot móvil tipo uniciclo provee información limitada para tareas de seguimiento de objetos, muchas de las veces asumiendo ciertos criterios como la profundidad. Para solucionar el problema de la carencia del componente de profundidad, una composición de dos cámaras puede generar un desfase de visión para implementar sistemas de visión estereoscópica y añadir información a una imagen bidimensional. El sistema de control se basa en la modelación cinemática del sistema completo (robot móvil y estructura articular de las cámaras), así como del modelo cinemático de las cámaras. El robot móvil y la estructura articular utilizada están conformados por motores Dynamixel, descritos como actuadores inteligentes con redes de comunicación serial integrada. El diagrama de control que se presenta utiliza la modelación cinemática para determinar las velocidades adecuadas que todos los actuadores deben adoptar para el seguimiento de objetivos mediante retroalimentación visual en un ambiente estructurado. Esta propuesta se analiza mediante un simulador en Matlab que indica el correcto funcionamiento del sistema de control. Usando un prototipo de investigación, se obtienen los resultados experimentales que demuestran un adecuado funcionamiento del sistema de control para el seguimiento de objetivos mediante retroalimentación visual. Se valida el adecuado funcionamiento del mecanismo robótico y de los controladores propuestos, además las gráficas de errores y velocidades de control muestran la correcta ejecución en un entorno real. Se recomienda que el presente proyecto sea la base para proyectos futuros en los cuales se estudie el desempeño del sistema en ambientes no estructurados.The aim of the present titration work was the development of a control system of a mobile robot for the tracking of objectives through visual feedback. A monocular vision system mounted on a unicycle type mobile robot provides limited information for follow-up tasks of many times, assuming specific criteria such as depth, a composition of two cameras can generate a vision blur to implement stereoscopic vision systems and add information to a two-dimensional image. The control system based on the kinematic modeling of the complete system (mobile robot and joint structure of the cameras), as well as the kinematic model of the cameras. The mobile robot and the joint structure used are made up of Dynamixel motors, described as intelligent actuators with integrated serial communication networks. The control diagram presented uses kinematic modeling to determine the appropriate speeds that all actuators must adapt to track objectives through visual feedback in a structured environment. This proposal analyzed through a simulator in Matlab that indicates the correct functioning of the control system. Using a prototype, experimental results are obtained that demonstrate an adequate operation of the control system for the tracking of objectives through visual feedback. The proper functioning of the robotic mechanism and the proposed controllers is validated, besides the error graphs and control speeds show the correct execution in a real environment. It recommended that this project be the basis for plans in which the performance of the system in unstructured environments studied

Control de un robot móvil para el seguimiento de objetos mediante realimentación visual.

El fin del presente trabajo de titulación fue el desarrollo de un sistema de control de un robot móvil para el seguimiento de objetivos mediante retroalimentación visual. Un sistema de visión monocular montado sobre un robot móvil tipo uniciclo provee información limitada para tareas de seguimiento de objetos, muchas de las veces asumiendo ciertos criterios como la profundidad. Para solucionar el problema de la carencia del componente de profundidad, una composición de dos cámaras puede generar un desfase de visión para implementar sistemas de visión estereoscópica y añadir información a una imagen bidimensional. El sistema de control se basa en la modelación cinemática del sistema completo (robot móvil y estructura articular de las cámaras), así como del modelo cinemático de las cámaras. El robot móvil y la estructura articular utilizada están conformados por motores Dynamixel, descritos como actuadores inteligentes con redes de comunicación serial integrada. El diagrama de control que se presenta utiliza la modelación cinemática para determinar las velocidades adecuadas que todos los actuadores deben adoptar para el seguimiento de objetivos mediante retroalimentación visual en un ambiente estructurado. Esta propuesta se analiza mediante un simulador en Matlab que indica el correcto funcionamiento del sistema de control. Usando un prototipo de investigación, se obtienen los resultados experimentales que demuestran un adecuado funcionamiento del sistema de control para el seguimiento de objetivos mediante retroalimentación visual. Se valida el adecuado funcionamiento del mecanismo robótico y de los controladores propuestos, además las gráficas de errores y velocidades de control muestran la correcta ejecución en un entorno real. Se recomienda que el presente proyecto sea la base para proyectos futuros en los cuales se estudie el desempeño del sistema en ambientes no estructurados.The aim of the present titration work was the development of a control system of a mobile robot for the tracking of objectives through visual feedback. A monocular vision system mounted on a unicycle type mobile robot provides limited information for follow-up tasks of many times, assuming specific criteria such as depth, a composition of two cameras can generate a vision blur to implement stereoscopic vision systems and add information to a two-dimensional image. The control system based on the kinematic modeling of the complete system (mobile robot and joint structure of the cameras), as well as the kinematic model of the cameras. The mobile robot and the joint structure used are made up of Dynamixel motors, described as intelligent actuators with integrated serial communication networks. The control diagram presented uses kinematic modeling to determine the appropriate speeds that all actuators must adapt to track objectives through visual feedback in a structured environment. This proposal analyzed through a simulator in Matlab that indicates the correct functioning of the control system. Using a prototype, experimental results are obtained that demonstrate an adequate operation of the control system for the tracking of objectives through visual feedback. The proper functioning of the robotic mechanism and the proposed controllers is validated, besides the error graphs and control speeds show the correct execution in a real environment. It recommended that this project be the basis for plans in which the performance of the system in unstructured environments studied

Percepción basada en visión estereoscópica, planificación de trayectorias y estrategias de navegación para exploración robótica autónoma

Tesis inédita de la Universidad Complutense de Madrid, Facultad de Informática, Departamento de Ingeniería del Software e Inteligencia artificial, leída el 13-05-2015En esta tesis se trata el desarrollo de una estrategia de navegación autónoma basada en visión artificial para exploración robótica autónoma de superficies planetarias. Se han desarrollado una serie de subsistemas, módulos y software específicos para la investigación desarrollada en este trabajo, ya que la mayoría de las herramientas existentes para este dominio son propiedad de agencias espaciales nacionales, no accesibles a la comunidad científica. Se ha diseñado una arquitectura software modular multi-capa con varios niveles jerárquicos para albergar el conjunto de algoritmos que implementan la estrategia de navegación autónoma y garantizar la portabilidad del software, su reutilización e independencia del hardware. Se incluye también el diseño de un entorno de trabajo destinado a dar soporte al desarrollo de las estrategias de navegación. Éste se basa parcialmente en herramientas de código abierto al alcance de cualquier investigador o institución, con las necesarias adaptaciones y extensiones, e incluye capacidades de simulación 3D, modelos de vehículos robóticos, sensores, y entornos operacionales, emulando superficies planetarias como Marte, para el análisis y validación a nivel funcional de las estrategias de navegación desarrolladas. Este entorno también ofrece capacidades de depuración y monitorización.La presente tesis se compone de dos partes principales. En la primera se aborda el diseño y desarrollo de las capacidades de autonomía de alto nivel de un rover, centrándose en la navegación autónoma, con el soporte de las capacidades de simulación y monitorización del entorno de trabajo previo. Se han llevado a cabo un conjunto de experimentos de campo, con un robot y hardware real, detallándose resultados, tiempo de procesamiento de algoritmos, así como el comportamiento y rendimiento del sistema en general. Como resultado, se ha identificado al sistema de percepción como un componente crucial dentro de la estrategia de navegación y, por tanto, el foco principal de potenciales optimizaciones y mejoras del sistema. Como consecuencia, en la segunda parte de este trabajo, se afronta el problema de la correspondencia en imágenes estéreo y reconstrucción 3D de entornos naturales no estructurados. Se han analizado una serie de algoritmos de correspondencia, procesos de imagen y filtros. Generalmente se asume que las intensidades de puntos correspondientes en imágenes del mismo par estéreo es la misma. Sin embargo, se ha comprobado que esta suposición es a menudo falsa, a pesar de que ambas se adquieren con un sistema de visión compuesto de dos cámaras idénticas. En consecuencia, se propone un sistema experto para la corrección automática de intensidades en pares de imágenes estéreo y reconstrucción 3D del entorno basado en procesos de imagen no aplicados hasta ahora en el campo de la visión estéreo. Éstos son el filtrado homomórfico y la correspondencia de histogramas, que han sido diseñados para corregir intensidades coordinadamente, ajustando una imagen en función de la otra. Los resultados se han podido optimizar adicionalmente gracias al diseño de un proceso de agrupación basado en el principio de continuidad espacial para eliminar falsos positivos y correspondencias erróneas. Se han estudiado los efectos de la aplicación de dichos filtros, en etapas previas y posteriores al proceso de correspondencia, con eficiencia verificada favorablemente. Su aplicación ha permitido la obtención de un mayor número de correspondencias válidas en comparación con los resultados obtenidos sin la aplicación de los mismos, consiguiendo mejoras significativas en los mapas de disparidad y, por lo tanto, en los procesos globales de percepción y reconstrucción 3D.Depto. de Ingeniería de Software e Inteligencia Artificial (ISIA)Fac. de InformáticaTRUEunpu

Image Enhancement for Scanned Historical Documents in the Presence of Multiple Degradations

Historical documents are treasured sources of information but typically suffer from problems with quality and degradation. Scanned images of historical documents suffer from difficulties due to paper quality and poor image capture, producing images with low contrast, smeared ink, bleed-through and uneven illumination. This PhD thesis proposes a novel adaptative histogram matching method to remove these artefacts from scanned images of historical documents. The adaptive histogram matching is modelled to create an ideal histogram by dividing the histogram using its Otsu level and applying Gaussian distributions to each segment with iterative output refinement applied to individual images. The pre-processing techniques of contrast stretching, wiener filtering, and bilateral filtering are used before the proposed adaptive histogram matching approach to maximise the dynamic range and reduce noise. The goal is to better represent document images and improve readability and the source images for Optical Character Recognition (OCR). Unlike other enhancement methods designed for single artefacts, the proposed method enhances multiple (low-contrast, smeared-ink, bleed-through and uneven illumination). In addition to developing an algorithm for historical document enhancement, the research also contributes a new dataset of scanned historical newspapers (an annotated subset of the Europeana Newspaper - ENP – dataset) where the enhancement technique is tested, which can also be used for further research. Experimental results show that the proposed method significantly reduces background noise and improves image quality on multiple artefacts compared to other enhancement methods. Several performance criteria are utilised to evaluate the proposed method’s efficiency. These include Signal to Noise Ratio (SNR), Mean opinion score (MOS), and visual document image quality assessment (VDIQA) metric called Visual Document Image Quality Assessment Metric (VDQAM). Additional assessment criteria to measure post-processing binarization quality are also discussed with enhanced results based on the Peak signal-to-noise ratio (PSNR), negative rate metric (NRM) and F-measure.Keywords: Image Enhancement, Historical Documents, OCR, Digitisation, Adaptive histogram matchin