Expert knowledge based approach for automatic sorting and packing

The automatic sorting system is presented in this work which is based on expert knowledge and high resolution visual sensor. Proposed system was tested for natural amber sorting task. Five types of amber have been explored in this research. Experimental investigation involves amber classification in three different color spaces (RGB, HSV and Grayscale). The results have shown that the highest classification accuracy is reached using the combination of the most essential features sets acquired from different color spaces

Segmentation for Image Indexing and Retrieval on Discrete Cosines Domain

This paper used region growing segmentation technique to segment the Discrete Cosines (DC) image. The classic problem of content Based image retrieval (CBIR) is the lack of accuracy in matching between image query and image in the database. By using region growing technique on DC image,it reduced the number of image regions indexed. The proposed of recursive region growing is not new technique but its application on DC images to build  indexing keys is quite new and not yet presented by many  authors. The experimental results show that the proposed methods on segmented images present good precision which are higher than 0.60 on all classes. So, it could be concluded that region growing segmented based CBIR more efficient   compared to DC images in term of their precision 0.59 and 0.75, respectively. Moreover, DC based CBIR can save time and simplify algorithm compared to DCT images. The most significant finding from this work is instead of using 64 DCT coefficients this research only used 1/64 coefficients which is DC coefficient.

Computing von Kries Illuminant Changes by Piecewise Inversion of Cumulative Color Histograms

We present a linear algorithm for the computation of the illuminant change occurring between two color pictures of a scene. We model the light variations with the von Kries diagonal transform and we estimate it by minimizing a dissimilarity measure between the piecewise inversions of the cumulative color histograms of the considered images. We also propose a method for illuminant invariant image recognition based on our von Kries transform estimate

Two and three dimensional segmentation of multimodal imagery

The role of segmentation in the realms of image understanding/analysis, computer vision, pattern recognition, remote sensing and medical imaging in recent years has been significantly augmented due to accelerated scientific advances made in the acquisition of image data. This low-level analysis protocol is critical to numerous applications, with the primary goal of expediting and improving the effectiveness of subsequent high-level operations by providing a condensed and pertinent representation of image information. In this research, we propose a novel unsupervised segmentation framework for facilitating meaningful segregation of 2-D/3-D image data across multiple modalities (color, remote-sensing and biomedical imaging) into non-overlapping partitions using several spatial-spectral attributes. Initially, our framework exploits the information obtained from detecting edges inherent in the data. To this effect, by using a vector gradient detection technique, pixels without edges are grouped and individually labeled to partition some initial portion of the input image content. Pixels that contain higher gradient densities are included by the dynamic generation of segments as the algorithm progresses to generate an initial region map. Subsequently, texture modeling is performed and the obtained gradient, texture and intensity information along with the aforementioned initial partition map are used to perform a multivariate refinement procedure, to fuse groups with similar characteristics yielding the final output segmentation. Experimental results obtained in comparison to published/state-of the-art segmentation techniques for color as well as multi/hyperspectral imagery, demonstrate the advantages of the proposed method. Furthermore, for the purpose of achieving improved computational efficiency we propose an extension of the aforestated methodology in a multi-resolution framework, demonstrated on color images. Finally, this research also encompasses a 3-D extension of the aforementioned algorithm demonstrated on medical (Magnetic Resonance Imaging / Computed Tomography) volumes

Supervised and unsupervised segmentation of textured images by efficient multi-level pattern classification

This thesis proposes new, efficient methodologies for supervised and unsupervised image segmentation based on texture information. For the supervised case, a technique for pixel classification based on a multi-level strategy that iteratively refines the resulting segmentation is proposed. This strategy utilizes pattern recognition methods based on prototypes (determined by clustering algorithms) and support vector machines. In order to obtain the best performance, an algorithm for automatic parameter selection and methods to reduce the computational cost associated with the segmentation process are also included. For the unsupervised case, the previous methodology is adapted by means of an initial pattern discovery stage, which allows transforming the original unsupervised problem into a supervised one. Several sets of experiments considering a wide variety of images are carried out in order to validate the developed techniques.Esta tesis propone metodologías nuevas y eficientes para segmentar imágenes a partir de información de textura en entornos supervisados y no supervisados. Para el caso supervisado, se propone una técnica basada en una estrategia de clasificación de píxeles multinivel que refina la segmentación resultante de forma iterativa. Dicha estrategia utiliza métodos de reconocimiento de patrones basados en prototipos (determinados mediante algoritmos de agrupamiento) y máquinas de vectores de soporte. Con el objetivo de obtener el mejor rendimiento, se incluyen además un algoritmo para selección automática de parámetros y métodos para reducir el coste computacional asociado al proceso de segmentación. Para el caso no supervisado, se propone una adaptación de la metodología anterior mediante una etapa inicial de descubrimiento de patrones que permite transformar el problema no supervisado en supervisado. Las técnicas desarrolladas en esta tesis se validan mediante diversos experimentos considerando una gran variedad de imágenes

A color image segmentation approach for content-based image retrieval

WOS: 000243766700014This paper describes a new color image segmentation method based on low-level features including color, texture and spatial information. The mean-shift algorithm with color and spatial information in color image segmentation is in general successful, however, in some cases, the color and spatial information are not sufficient for superior segmentation. The proposed method addresses this problem and employs texture descriptors as an additional feature. The method uses wavelet frames that provide translation invariant texture analysis. The method integrates additional texture feature to the color and spatial space of standard mean-shift segmentation algorithm. The new algorithm with high dimensional extended feature space provides better results than standard mean-shift segmentation algorithm as shown in experimental results. (c) 2006 Pattern Recognition Society. Published by Elsevier Ltd. All rights reserved

Correspondencia estereoscópica en imágenes obtenidas con proyección omnidireccional para entornos forestales

Los sistemas de visión estereoscópica se han venido utilizando de forma manual desde hace varias décadas para captar información tridimensional del entorno en diferentes aplicaciones. Con el desarrollo experimentado en los últimos años por las técnicas de procesamiento computacional de imágenes, la visión estereoscópica se viene incorporando cada vez más a sistemas automáticos de diferente naturaleza. El problema central en la automatización de un sistema de visión estereoscópica es la determinación de la correspondencia entre píxeles del par de imágenes estereoscópicas que proceden del mismo punto de la escena tridimensional. El trabajo de investigación desarrollado en esta tesis consiste en el diseño de una estrategia global para dar solución al problema de la correspondencia estereoscópica para un tipo característico de imágenes omnidireccionales procedentes de entornos forestales. Las imágenes son obtenidas mediante un sistema óptico basado en las denominadas lentes de ojo de pez. Este trabajo tiene su origen en el interés suscitado por el Centro de Investigación Forestal (CIFOR) del Instituto Nacional de Investigación y Tecnología Agraria y Alimentaria (INIA) para automatizar el proceso de extracción de información mediante el dispositivo de medición con número de patente MU-200501738. El interés se centra en obtener dicha información de los troncos de los árboles a partir de imágenes estereoscópicas. Con las medidas obtenidas, los técnicos realizan inventarios forestales que incluyen estudios sobre el volumen de madera, la densidad de árboles, la evolución o crecimiento de éstos, entre otros. La contribución principal de este trabajo consiste en la propuesta de una estrategia que combina los dos procesos esenciales en visión estereoscópica artificial como son la segmentación y correspondencia de ciertas estructuras existentes en las dos imágenes del par estereoscópico. La estrategia se diseña para dos tipos de imágenes procedentes de sendos entornos forestales. El primero de dichos entornos se refiere a pinares de pino silvestre (Pinus sylvestris L.) donde las imágenes se han obtenido en días soleados y por tanto con una alta variabilidad de los niveles de intensidad debido a las zonas iluminadas. En el segundo entorno las imágenes proceden de bosques de roble rebollo (Quercus pyrenaica Willd.) cuya característica más relevante es que se obtienen bajo unas condiciones de iluminación relativamente escasas, días nublados o al amanecer o atardecer, pero suficiente como para producir alto contraste entre los troncos y el cielo. .Debido a las características tan diferentes de ambos entornos, tanto en lo relativo a la iluminación como a la naturaleza de los propios árboles y las texturas que les rodean, los procesos de segmentación y correspondencia se diseñan atendiendo al tipo concreto de entorno forestal. Hecho éste, que marca la tendencia de la futura investigación cuando se analicen otros entornos forestales. En el caso de los bosques de pino, el proceso de segmentación se plantea desde el punto de vista del aislamiento de los troncos mediante la exclusión de las texturas que les rodean (hojas de los pinos, suelo, cielo). Por ello, se proponen técnicas específicas de identificación de texturas para las hojas y de clasificación para el resto. En este último caso se combinan dos técnicas de clasificación clásicas como son el método de Agrupamiento Borroso y el estimador paramétrico Bayesiano. El proceso de correspondencia se plantea en dos fases. En primer lugar se identifican los píxeles homólogos en sendas imágenes del par estereoscópico mediante la adaptación a este problema de las siguientes técnicas procedentes de la teoría general de la decisión: Integral Fuzzy de Choquet, Integral Fuzzy de Sugeno, Teoría Dempster-Shafer y Toma de Decisiones Multicriterio Fuzzy. En segundo lugar, los resultados relativos a la correspondencia obtenidos mediante esas técnicas se procesan para conseguir mejorarlos mediante la adaptación de sendos paradigmas: los Mapas Cognitivos Fuzzy y la Red Neuronal de Hopfield. Para el segundo entorno de bosques de roble, la segmentación se plantea como un proceso de identificación de los troncos de los árboles utilizando técnicas específicas de procesamiento de imágenes, en concreto técnicas de extracción y etiquetado de regiones. Para cada región se obtiene un conjunto de atributos o propiedades que la caracterizan, y el proceso de correspondencia establece las regiones homólogas de las dos imágenes del par estereoscópico mediante medidas de similitud entre los atributos de las regiones. La estrategia propuesta, basada en los procesos de segmentación y correspondencia, se compara favorablemente desde la perspectiva de la automatización del proceso y se plantea para su aplicación a cualquier tipo de entorno forestal, si bien con las pertinentes adaptaciones y modificaciones inherentes a los procesos de segmentación y correspondencia en función de la naturaleza del entorno forestal analizado. [ABSTRACT] Stereoscopic vision systems have been used manually for decades to capture three-dimensional information of the environment in different applications. With the growth experienced in recent years by the techniques of computer image processing, stereoscopic vision has been increasingly incorporating automated systems of different nature. The central problem in the automation of a stereoscopic vision system is the determination of the correspondence between pixels of the pair of stereoscopic images that come from the same point in three-dimensional scene. The research undertaken in this thesis comprises the design of a global strategy to solve the stereoscopic correspondence problem for a specific kind of omnidirectional image from forest environments. The images are obtained through an optical system based on the lens known as fisheye. This work stems from the interest generated by the Forest Research Centre (CIFOR) part of the National Institute for Agriculture and Food Research and Technology (INIA) to automate the process of extracting information through the measurement mechanism with patent number MU-200501738. The focus is on obtaining this information from tree trunks using stereoscopic images. The technicians carry out forest inventories which include studies on wood volume and tree density as well as the evolution and growth of the trees with the measurements obtained. This paper’s main contribution is the proposal for a strategy that combines the two essential processes involved in artificial stereo vision: segmentation and correspondence of certain structures in the dual images of the stereoscopic pair. The strategy is designed for two types of images from two forest environments. The first of these refers to Scots pine forests (Pinus sylvestris L.) where images were obtained on sunny days and therefore exhibit highly variable intensity levels due to the illuminated areas. In the second of these, the images come from Rebollo oak forests (Quercus pyrenaica Willd.), the main characteristic of which is that they are obtained under relatively low light conditions, on cloudy days or at dawn or dusk, but with sufficient light to produce high contrast between the trees and sky. Due to the very different characteristics of each environment - both in terms of light and the nature of trees themselves and textures that surround them - the segmentation and correspondence processes are designed specifically according to the specific type of forest environment. This sets the trend for future research when analyzing other forest environments. In the case of pine forests, the segmentation process is approached from the point of view of isolating the trunks by excluding the textures that surround them (pine needles, the ground, the sky). For this reason, we propose the use of the specific techniques of texture identification for the pine needles and of classification for the rest. The latter case combines two classic classification techniques: Fuzzy Clustering and the Bayesian Parametric estimator. The matching process is set out in two phases. The first identifies the homogeneous pixels in separate stereo pair images, by means of the adaptation of the following techniques from general decision theory to this problem: Choquet’s Fuzzy Integral, Sugeno’s Fuzzy Integral, Dempster-Shafer Theory and Fuzzy Multicriteria Decision Making. Second, the results relating to correspondence obtained by these techniques are enhanced through the adaptation of two separate paradigms, namely: Fuzzy Cognitive Maps and the Hopfield Neural Network. Regarding the second type of forest analyzed, i.e. oak, the segmentation process s designed in order to identify the tree trunks by applying specific techniques in image processing, relating to the extraction and labelling of regions, so that each region is given a set of attributes or properties that characterizes it. The matching process establishes the equivalent regions from the two stereo pair images using measures of similarity among the attributes of the regions. The proposed strategy based on segmentation and correspondence processes can be favourably compared from the perspective of the automation of the process and we suggest it can be applied to any type of forest environment, with the appropriate adaptations inherent to the segmentation and correspondence processes in accordance with the nature of the forest environment analyzed

Contributions to region-based image and video analysis: feature aggregation, background subtraction and description constraining

Tesis doctoral inédita leída en la Universidad Autónoma de Madrid, Escuela Politécnica Superior, Departamento de Tecnología Electrónica y de las Comunicaciones. Fecha de lectura: 22-01-2016Esta tesis tiene embargado el acceso al texto completo hasta el 22-07-2017The use of regions for image and video analysis has been traditionally motivated by their ability to diminish the number of processed units and hence, the number of required decisions. However, as we explore in this thesis, this is just one of the potential advantages that regions may provide. When dealing with regions, two description spaces may be differentiated: the decision space, on which regions are shaped—region segmentation—, and the feature space, on which regions are used for analysis—region-based applications—. These two spaces are highly related. The solutions taken on the decision space severely affect their performance in the feature space. Accordingly, in this thesis we propose contributions on both spaces. Regarding the contributions to region segmentation, these are two-fold. Firstly, we give a twist to a classical region segmentation technique, the Mean-Shift, by exploring new solutions to automatically set the spectral kernel bandwidth. Secondly, we propose a method to describe the micro-texture of a pixel neighbourhood by using an easily customisable filter-bank methodology—which is based on the discrete cosine transform (DCT)—. The rest of the thesis is devoted to describe region-based approaches to several highly topical issues in computer vision; two broad tasks are explored: background subtraction (BS) and local descriptors (LD). Concerning BS, regions are here used as complementary cues to refine pixel-based BS algorithms: by providing robust to illumination cues and by storing the background dynamics in a region-driven background modelling. Relating to LD, the region is here used to reshape the description area usually fixed for local descriptors. Region-masked versions of classical two-dimensional and three-dimensional local descriptions are designed. So-built descriptions are proposed for the task of object identification, under a novel neural-oriented strategy. Furthermore, a local description scheme based on a fuzzy use of the region membership is derived. This characterisation scheme has been geometrically adapted to account for projective deformations, providing a suitable tool for finding corresponding points in wide-baseline scenarios. Experiments have been conducted for every contribution, discussing the potential benefits and the limitations of the proposed schemes. In overall, obtained results suggest that the region—conditioned by successful aggregation processes—is a reliable and useful tool to extrapolate pixel-level results, diminish semantic noise, isolate significant object cues and constrain local descriptions. The methods and approaches described along this thesis present alternative or complementary solutions to pixel-based image processing.El uso de regiones para el análisis de imágenes y secuencias de video ha estado tradicionalmente motivado por su utilidad para disminuir el número de unidades de análisis y, por ende, el número de decisiones. En esta tesis evidenciamos que esta es sólo una de las muchas ventajas adheridas a la utilización de regiones. En el procesamiento por regiones deben distinguirse dos espacios de análisis: el espacio de decisión, en donde se construyen las regiones, y el espacio de características, donde se utilizan. Ambos espacios están altamente relacionados. Las soluciones diseñadas para la construcción de regiones en el espacio de decisión definen su utilidad en el espacio de análisis. Por este motivo, a lo largo de esta tesis estudiamos ambos espacios. En particular, proponemos dos contribuciones en la etapa de construcción de regiones. En la primera, revisitamos una técnica clásica, Mean-Shift, e introducimos un esquema para la selección automática del ancho de banda que permite estimar localmente la densidad de una determinada característica. En la segunda, utilizamos la transformada discreta del coseno para describir la variabilidad local en el entorno de un píxel. En el resto de la tesis exploramos soluciones en el espacio de características, en otras palabras, proponemos aplicaciones que se apoyan en la región para realizar el procesamiento. Dichas aplicaciones se centran en dos ramas candentes en el ámbito de la visión por computador: la segregación del frente por substracción del fondo y la descripción local de los puntos de una imagen. En la rama substracción de fondo, utilizamos las regiones como unidades de apoyo a los algoritmos basados exclusivamente en el análisis a nivel de píxel. En particular, mejoramos la robustez de estos algoritmos a los cambios locales de iluminación y al dinamismo del fondo. Para esta última técnica definimos un modelo de fondo completamente basado en regiones. Las contribuciones asociadas a la rama de descripción local están centradas en el uso de la región para definir, automáticamente, entornos de descripción alrededor de los puntos. En las aproximaciones existentes, estos entornos de descripción suelen ser de tamaño y forma fija. Como resultado de este procedimiento se establece el diseño de versiones enmascaradas de descriptores bidimensionales y tridimensionales. En el algoritmo desarrollado, organizamos los descriptores así diseñados en una estructura neuronal y los utilizamos para la identificación automática de objetos. Por otro lado, proponemos un esquema de descripción mediante asociación difusa de píxeles a regiones. Este entorno de descripción es transformado geométricamente para adaptarse a potenciales deformaciones proyectivas en entornos estéreo donde las cámaras están ampliamente separadas. Cada una de las aproximaciones desarrolladas se evalúa y discute, remarcando las ventajas e inconvenientes asociadas a su utilización. En general, los resultados obtenidos sugieren que la región, asumiendo que ha sido construida de manera exitosa, es una herramienta fiable y de utilidad para: extrapolar resultados a nivel de pixel, reducir el ruido semántico, aislar las características significativas de los objetos y restringir la descripción local de estas características. Los métodos y enfoques descritos a lo largo de esta tesis establecen soluciones alternativas o complementarias al análisis a nivel de píxelIt was partially supported by the Spanish Government trough its FPU grant program and the projects (TEC2007-65400 - SemanticVideo), (TEC2011-25995 Event Video) and (TEC2014-53176-R HAVideo); the European Commission (IST-FP6-027685 - Mesh); the Comunidad de Madrid (S-0505/TIC-0223 - ProMultiDis-CM) and the Spanish Administration Agency CENIT 2007-1007 (VISION)