Temporally coherent 4D reconstruction of complex dynamic scenes

This paper presents an approach for reconstruction of 4D temporally coherent models of complex dynamic scenes. No prior knowledge is required of scene structure or camera calibration allowing reconstruction from multiple moving cameras. Sparse-to-dense temporal correspondence is integrated with joint multi-view segmentation and reconstruction to obtain a complete 4D representation of static and dynamic objects. Temporal coherence is exploited to overcome visual ambiguities resulting in improved reconstruction of complex scenes. Robust joint segmentation and reconstruction of dynamic objects is achieved by introducing a geodesic star convexity constraint. Comparative evaluation is performed on a variety of unstructured indoor and outdoor dynamic scenes with hand-held cameras and multiple people. This demonstrates reconstruction of complete temporally coherent 4D scene models with improved nonrigid object segmentation and shape reconstruction.Comment: To appear in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2016 . Video available at: https://www.youtube.com/watch?v=bm_P13_-Ds

Human features detection in video surveillance

Dissertação de mestrado integrado em Engenharia Eletrónica Industrial e ComputadoresHuman activity recognition algorithms have been studied actively from decades using a sequence of 2D and 3D images from a video surveillance. This new surveillance solutions and the areas of image processing and analysis have been receiving special attention and interest from the scientific community. Thus, it became possible to witness the appearance of new video compression techniques, the transmission of audio and video in real-time, targeting identification and tracking objects in with complex environments. Traffic monitoring, automotive safety, people counting and activity recognition applications are examples. With the development of sensors, new opportunities arose to expand and advance this field. This dissertation presents an activity recognition system to recognize human motion. The system does not need optical markers or motion sensors. This human activity recognition system is divided in three stages: human segmentation, in an outside and inside environment; extraction of the human features; and classification models to detect the human actions. Therefore, the main objective in this work is to develop an algorithm to extract human features. This algorithm aims to develop a new representation and extraction method using a sequence of features in a skeleton silhouette. Mainly, the segmentation of humans is based on a previous work, centered on background subtraction. An algorithm is applied to convert the object captured in the video surveillance to a binary image using a skeleton algorithm. Afterwards, and based on the physical parameters of the human motion, it becomes possible to discover the principal features of the human skeleton, called physical features, head, hands and feet. The viability of using features detection in a human recognition system was tested and compared with other existing systems. The results point out that the system has good performance (8.96% of perfect match and the average rate was 68.65%). Nevertheless, in images where the features of the human body are covered, with umbrella or heavy coats for example, the system presents certain limitations. This process has a high execution speed and a low cost computational processing: average of 5910 µs with a standard deviation of 5650 µs. In the near future, classification models to detect the human actions will be included.Algoritmos de reconhecimento de atividade humana foram estudados ativamente durante décadas, usando sequências de imagens em 2D e 3D de vídeo vigilância. Estas novas soluções de vídeo vigilância e as áreas de processamento e análise de imagens têm recebido especial atenção e interesse por parte da comunidade científica. Assim, tornou-se possível testemunhar a aparência de novas técnicas de compressão de vídeo, a transmissão de áudio e vídeo em tempo real, identificação de segmentação e rastreamento de objetos em ambientes complexos. Monitoramento de tráfego, segurança automóvel, contagem de pessoas e aplicações de reconhecimento de atividade são exemplos. Com o desenvolvimento de sensores, novas oportunidades surgiram para expandir e avançar neste campo. Esta dissertação apresenta um sistema de reconhecimento de atividade para reconhecer o movimento humano. O sistema não precisa de marcadores óticos ou sensores de movimento. Este sistema de reconhecimento de atividade humana divide-se em três fases: segmentação humana, num ambiente exterior e interior; Extração das características humanas; E modelos de classificação para detetar as ações humanas. Portanto, o objetivo principal deste trabalho trata-se de desenvolver um algoritmo para extrair características humanas. Este algoritmo tem como objetivo desenvolver uma nova representação e método de extração de características humanas, através do uso de uma silhueta em forma de esqueleto. A segmentação de seres humanos é baseada num trabalho anterior, centrado na subtração do plano de fundo. Um algoritmo é aplicado para converter o objeto capturado na vídeo vigilância, para uma imagem binária usando um algoritmo em forma de esqueleto. Posteriormente, e com base nos parâmetros físicos do movimento humano, torna-se possível descobrir as principais características do esqueleto humano, denominadas características físicas, cabeça, mãos e pés. A viabilidade do uso de deteção de características em um sistema de reconhecimento humano foi testada e comparada com outros sistemas. Os resultados indicam que o sistema tem bom desempenho (8.96% de correspondência exata e 68.65% de correspondência intermédia). No entanto, em imagens onde as características do corpo humano são cobertas, com guarda-chuva ou casacos pesados, por exemplo, o sistema apresenta certas limitações. Este processo tem uma alta velocidade de execução e um processamento computacional de baixo custo: média de 5910 μs com desvio padrão de 5650 μs. Num futuro próximo, serão incluídos modelos de classificação para detetar as ações humanas