Robust Subspace Clustering by Combined Use of kNND Metric and SVD Algorithm

vision, such as image/video segmentation and pattern classification. The major issue in subspace clustering is to obtain the most appropriate subspace from the given noisy data. Typical methods (e.g., SVD, PCA, and Eigendecomposition) use least squares techniques, and are sensitive to outliers. In this paper, we present the k-th Nearest Neighbor Distance (kNND) metric, which, without actually clustering the data, can exploit the intrinsic data cluster structure to detect and remove influential outliers as well as small data clusters. The remaining data provide a good initial inlier data set that resides in a linear subspace whose rank (dimension) is upper-bounded. Such linear subspace constraint can then be exploited by simple algorithms, such as iterative SVD algorithm, to (1) detect the remaining outliers that violate the correlation structure enforced by the low rank subspace, and (2) reliably compute the subspace. As an example, we apply our method to extracting layers from image sequences containing dynamically moving objects

Image Based View Synthesis

This dissertation deals with the image-based approach to synthesize a virtual scene using sparse images or a video sequence without the use of 3D models. In our scenario, a real dynamic or static scene is captured by a set of un-calibrated images from different viewpoints. After automatically recovering the geometric transformations between these images, a series of photo-realistic virtual views can be rendered and a virtual environment covered by these several static cameras can be synthesized. This image-based approach has applications in object recognition, object transfer, video synthesis and video compression. In this dissertation, I have contributed to several sub-problems related to image based view synthesis. Before image-based view synthesis can be performed, images need to be segmented into individual objects. Assuming that a scene can approximately be described by multiple planar regions, I have developed a robust and novel approach to automatically extract a set of affine or projective transformations induced by these regions, correctly detect the occlusion pixels over multiple consecutive frames, and accurately segment the scene into several motion layers. First, a number of seed regions using correspondences in two frames are determined, and the seed regions are expanded and outliers are rejected employing the graph cuts method integrated with level set representation. Next, these initial regions are merged into several initial layers according to the motion similarity. Third, the occlusion order constraints on multiple frames are explored, which guarantee that the occlusion area increases with the temporal order in a short period and effectively maintains segmentation consistency over multiple consecutive frames. Then the correct layer segmentation is obtained by using a graph cuts algorithm, and the occlusions between the overlapping layers are explicitly determined. Several experimental results are demonstrated to show that our approach is effective and robust. Recovering the geometrical transformations among images of a scene is a prerequisite step for image-based view synthesis. I have developed a wide baseline matching algorithm to identify the correspondences between two un-calibrated images, and to further determine the geometric relationship between images, such as epipolar geometry or projective transformation. In our approach, a set of salient features, edge-corners, are detected to provide robust and consistent matching primitives. Then, based on the Singular Value Decomposition (SVD) of an affine matrix, we effectively quantize the search space into two independent subspaces for rotation angle and scaling factor, and then we use a two-stage affine matching algorithm to obtain robust matches between these two frames. The experimental results on a number of wide baseline images strongly demonstrate that our matching method outperforms the state-of-art algorithms even under the significant camera motion, illumination variation, occlusion, and self-similarity. Given the wide baseline matches among images I have developed a novel method for Dynamic view morphing. Dynamic view morphing deals with the scenes containing moving objects in presence of camera motion. The objects can be rigid or non-rigid, each of them can move in any orientation or direction. The proposed method can generate a series of continuous and physically accurate intermediate views from only two reference images without any knowledge about 3D. The procedure consists of three steps: segmentation, morphing and post-warping. Given a boundary connection constraint, the source and target scenes are segmented into several layers for morphing. Based on the decomposition of affine transformation between corresponding points, we uniquely determine a physically correct path for post-warping by the least distortion method. I have successfully generalized the dynamic scene synthesis problem from the simple scene with only rotation to the dynamic scene containing non-rigid objects. My method can handle dynamic rigid or non-rigid objects, including complicated objects such as humans. Finally, I have also developed a novel algorithm for tri-view morphing. This is an efficient image-based method to navigate a scene based on only three wide-baseline un-calibrated images without the explicit use of a 3D model. After automatically recovering corresponding points between each pair of images using our wide baseline matching method, an accurate trifocal plane is extracted from the trifocal tensor implied in these three images. Next, employing a trinocular-stereo algorithm and barycentric blending technique, we generate an arbitrary novel view to navigate the scene in a 2D space. Furthermore, after self-calibration of the cameras, a 3D model can also be correctly augmented into this virtual environment synthesized by the tri-view morphing algorithm. We have applied our view morphing framework to several interesting applications: 4D video synthesis, automatic target recognition, multi-view morphing

Segmentación y posicionamiento 3D de robots móviles en espacios inteligentes mediante redes de cámaras fijas

La presente tesis doctoral surge con el objetivo de realizar contribuciones para la segmentación, identificación y posicionamiento 3D de múltiples robots móviles. Para ello se utiliza un conjunto de cámaras calibradas y sincronizadas entre sí, que se encuentran ubicadas en posiciones fijas del espacio en que se mueven los robots (espacio inteligente). No se contará con ningún conocimiento a priori de la estructura de los robots móviles ni marcas artificiales a bordo de los mismos. Tanto para la segmentación de movimiento como para la estimación de la posición 3D de los robots móviles se propone una solución basada en la minimización de una función objetivo, que incorpora información de todas las cámaras disponibles en el espacio inteligente. Esta función objetivo depende de tres grupos de variables: los contornos que definen la segmentación sobre el plano imagen, los parámetros de movimiento 3D (componentes de la velocidad lineal y angular en el sistema de referencia global) y profundidad de cada punto de la escena al plano imagen. Debido a que la función objetivo depende de tres grupos de variables, para su minimización se emplea un algoritmo greedy, iterativo, entre etapas. En cada una de estas etapas dos de los grupos de variables se suponen conocidos, y se resuelve la ecuación para obtener el restante. De forma previa a la minimización se realiza la inicialización tanto de las curvas que definen los contornos de la segmentación como de la profundidad de cada punto perteneciente a los robots. Además se requiere la estimación del número de robots presentes en la escena. Partiendo de que las cámaras se encuentran en posiciones fijas del espacio inteligente, la inicialización de las curvas se lleva a cabo comparando cada imagen de entrada con un modelo de fondo obtenido previamente. Tanto para el modelado de fondo, como para la comparación de las imágenes de entrada con el mismo se emplea el Análisis de Componentes Principales Generalizado (GPCA). Respecto a la profundidad se emplea Visual Hull 3D (VH3D) para relacionar la información de todas las cámaras disponibles, obteniendo un contorno aproximado de los robots móviles en 3D. Esta reconstrucción de los robots proporciona una buena aproximación de la profundidad inicial de todos los puntos pertenecientes a los robots. Por otro lado, el uso de una versión extendida de la técnica de clasificación k-medias permite obtener una estimación del número de robots presentes en la escena. Tras la segmentación de movimiento y la estimación de la posición 3D de todos los objetos móviles presentes en la escena, se procede a la identificación de los robots móviles. Esta identificación es posible debido a que los robots móviles son agentes controlados por el espacio inteligente, de forma que se cuenta con información acerca de las medidas de los sensores odométricos a bordo de los mismos. Para el seguimiento se propone el uso de un filtro de partículas extendido con proceso de clasificación (XPFCP). La elección de este estimador se debe a que, dado su carácter multimodal, permite el seguimiento de un número variable de elementos (robots móviles) empleando para ello un único estimador, sin necesidad de incrementar el vector de estado. Los resultados obtenidos a la salido del XPFCP son una buena estimación de la posición de los robots móviles en un instante posterior, por lo que esta información se realimenta a la etapa de inicialización de variables, permitiendo reducir el tiempo de procesamiento consumido por la misma. Las diferentes soluciones propuestas a lo largo de la tesis han sido validadas de forma experimental utilizando para ello diferentes secuencias de imágenes (con presencia de diferentes robots, personas, diversos objetos, cambios de iluminación, etc.) adquiridas en el espacio inteligente del Departamento de Electrónica de la Universidad de Alcalá (ISPACE-UAH)