Real-time video stabilization without phantom movements for micro aerial vehicles

In recent times, micro aerial vehicles (MAVs) are becoming popular for several applications as rescue, surveillance, mapping, etc. Undesired motion between consecutive frames is a problem in a video recorded by MAVs. There are different approaches, applied in video post-processing, to solve this issue. However, there are only few algorithms able to be applied in real time. An additional and critical problem is the presence of false movements in the stabilized video. In this paper, we present a new approach of video stabilization which can be used in real time without generating false movements. Our proposal uses a combination of a low-pass filter and control action information to estimate the motion intention.Peer ReviewedPostprint (published version

Motion intention optimization for multirotor robust video stabilization

© 20xx IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting /republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other worksIn this paper we present an optimization algorithm for simultaneously detecting video freeze and obtaining the minimum number of the frame required in motion intention estimation for real time robust video stabilization on multirotor unmanned aerial vehicles. A combination of a filter and a threshold is used to the video freeze detection, and for optimizing the algorithm, we find the minimum number of frames for motion intention estimation without decrease the performance.Peer ReviewedPostprint (author's final draft

Estabilización de vídeo en micro vehículos aéreos y su aplicación en la detección de caras

Actualmente, los vehículos aéreos de micros escala (MAVs) se han tornado populares para múltiples aplicaciones como rescate, vigilancia, mapeo, entre otras. Para todos los casos, es necesario un óptimo desempeño de los vídeos capturados a bordo, y uno de los principales problemas constituyen los movimientos indeseados entre fotogramas consecutivos. Para solventar esta problemática existes diferentes enfoques que, aplicados a post-procesamiento, consiguen una estabilización robusta en la imagen. Sin embargo, muy pocos algoritmos son capaces de ser aplicados en tiempo real. En este artículo se presenta un nuevo enfoque que puede ser implementado en tiempo real sin que se generen movimientos falsos. Nuestra propuesta usa una combinación de un filtro pasabajos, y la información de la acción de control para la estimación de la intención de movimiento. Adicionalmente, se presenta la aplicación de nuestra propuesta en el algoritmo de detección de caras, en el cual, la robustez se incrementa al ser implementado a partir de la secuencia estable de vídeo.Peer ReviewedPostprint (published version

Estabilización robusta de vídeo basada en diferencia de nivel de gris

La estabilización de vídeo se está convirtiendo en una importante técnica de post-procesado para secuencias de fotogramas (frames) adquiridas con cámaras digitales, especialmente debido al uso generalizado de cámaras de mano (hand-held) así como la utilización de estos dispositivos como elementos de entrada en sistemas robotizados complejos, robots humanoides o vehículos aéreos no tripulados. El presente artículo propone una combinación del método iterativo RANSAC (RANdom SAmple Consensus), para otorgar robustez a la estimación del movimiento como parte del proceso de estabilización de vídeo, en conjunto con una función coste basada en la diferencia del nivel de gris entre imágenes.Peer ReviewedPostprint (published version

Estabilización de vídeo en tiempo real : aplicaciones en teleoperación de micro vehículos aéreos de ala rotativa

Micro Aerial Vehicles (MAVs), a subset of Unmanned Aerial Vehicles (UAVs), also known as drones, are becoming popular for several applications and gaining interest due to advantages as manufacturing and maintenance cost, size and weight, energy consumption, and flight maneuverability. Required skills for drone teleoperators being lower than for aircraft pilots, however their training process can last several weeks or months depending on the target at hands. In particular, this process is harder when teleoperators cannot observe directly the vehicle, depending only on onboard sensors and cameras. The presence of oscillations in the captured video is a major problem with cameras on UAVs. It is even more complex for MAVs because the external disturbances increase the instability. There exists mechanical video stabilizers that reduce camera oscillations, however this mechanical device adds weight and increases the manufacturing cost, energy consumption, size, weight, and the system becomes less safe for people. In this thesis, we propose to develop video stabilization software algorithms, without additional mechanical elements in the system, to be applied in real-time during the UAV navigation. In the literature, there are a few video stabilization algorithms able to be applied in real-time, but most of them generate false motion (phantom movements) in the stabilized image. Our algorithm represents a good tradeoff between stable video recording and simultaneously keeping UAV real motion. Several experiments with MAVs have been performed and the employed measurements demonstrate the good performance of the introduced algorithm.Los micro vehículos aéreos (MAVs), un subconjunto de vehículos aéreos no tripulados (UAVs), también llamados drones, han ganado popularidad en múltiples aplicaciones y un creciente interés debido a sus ventajas como costo de fabricación y mantenimiento, volumen, peso del vehículo, gasto energético, y maniobrabilidad de vuelo. La destreza requerida para un teleoperador de drones es inferior a la de un piloto de aeronaves de mayor dimensión, no obstante, su proceso de entrenamiento puede durar varias semanas o incluso meses dependiendo del objetivo que se persiga. Este proceso se dificulta cuando el teleoperador no puede observar de forma directa al vehículo y depende únicamente de los sensores y cámaras a bordo del sistema. Uno de los principales problemas con cámaras a bordo de drones es la oscilación presente en los vídeos capturados. Este inconveniente es más complejo para los MAVs porque las perturbaciones externas provocan mayor inestabilidad. Existen dispositivos mecánicos de estabilización de vídeo que reducen las oscilaciones en la cámara. Sin embargo, estos mecanismos implican una carga adicional al sistema y aumentan el costo de producción, gasto energético y el riesgo para las personas que se encuentren cerca en caso de accidente. En la presente tesis se propone el desarrollo de algoritmos de estabilización de vídeo por software sin elementos mecánicos adicionales en el sistema, a ser utilizados en tiempo real durante la navegación de los UAVs. En la literatura existen pocos algoritmos de estabilización de video aplicables en tiempo real, los cuales generan falsos movimientos (movimientos fantasma) en la imagen estabilizada. El algoritmo desarrollado es capaz de obtener una imagen estable y simultáneamente mantener los movimientos reales. Se han llevado a cabo múltiples experimentos con MAVs y las métricas de evaluación utilizadas evidencian el buen desempeño del algoritmo introducido