Inexpensive solution for real-time video and image stitching

Image stitching is the process of joining several images to obtain a bigger view of a scene. It is used, for example, in tourism to transmit to the viewer the sensation of being in another place. I am presenting an inexpensive solution for automatic real time video and image stitching with two web cameras as the video/image sources. The proposed solution relies on the usage of several markers in the scene as reference points for the stitching algorithm. The implemented algorithm is divided in four main steps, the marker detection, camera pose determination (in reference to the markers), video/image size and 3d transformation, and image translation. Wii remote controllers are used to support several steps in the process. The built‐in IR camera provides clean marker detection, which facilitates the camera pose determination. The only restriction in the algorithm is that markers have to be in the field of view when capturing the scene. Several tests where made to evaluate the final algorithm. The algorithm is able to perform video stitching with a frame rate between 8 and 13 fps. The joining of the two videos/images is good with minor misalignments in objects at the same depth of the marker,misalignments in the background and foreground are bigger. The capture process is simple enough so anyone can perform a stitching with a very short explanation. Although real‐time video stitching can be achieved by this affordable approach, there are few shortcomings in current version. For example, contrast inconsistency along the stitching line could be reduced by applying a color correction algorithm to every source videos. In addition, the misalignments in stitched images due to camera lens distortion could be eased by optical correction algorithm. The work was developed in Apple’s Quartz Composer, a visual programming environment. A library of extended functions was developed using Xcode tools also from Apple.Orientador: Mon‐Chu Che

Uncertainty Modeling in Robotic Maintenance Using Computer Vision

RÉSUMÉ L’inspection visuelle automatisée est une technologie en expansion dans le domaine industriel, notamment pour l’identification et la réparation de pièces aéronautiques critiques défectueuses. Pour mesurer des défauts de surface, des images prises par un ou plusieurs systèmes d’acquisition sont traitées. Le traitement de ces images requiert de nombreux algorithmes de détection, de recalage, de segmentation et de classification des défauts observés. Dans le cas d’une acquisition robotisée, la cinématique du robot doit également être connue et prise en compte. Tous ces systèmes nécessitent une étape préliminaire d’étalonnage pour pouvoir extraire des informations précises des images capturées. Chaque étape d’un tel procédé possède plusieurs sources d’incertitude dues à des facteurs internes ou externes. L’évaluation de ces incertitudes permet de quantifier la qualité d’une mesure et d’identifier les parties d’un processus ayant une sensibilité accrue. Devant la multitude de systèmes présents dans une technologie d’inspection, l’objectif de ce projet est d’estimer les incertitudes associées au procédé d’acquisition 2D d’AV&R, i.e. l’étalonnage d’une caméra et des algorithmes de détection de défauts associés. Les pièces d’inspection utilisées dans ce projet sont des aubes de soufflante. Plus particulièrement, seuls les défauts proches du bord d’attaque et du pied de l’aube sont considérés, zone considérée comme critique. Huit acquisitions sont prises pour capturer l’ensemble de la zone critique de l’aube. Pour évaluer les incertitudes des deux méthodes d’étalonnage de camera d’AV&R, la méthode de Monte Carlo est utilisée. Dû à des contraintes de correspondance de référentiels et aux coûts liés à l’implémentation de cette méthode, l’algorithme d’étalonnage du focus et de la profondeur de champ est adapté à un langage de programmation plus approprié. Une méthode d’estimation de la pose de la caméra pour des points coplanaires, appelée Pose from Orthography and Scaling with Iterations (POSIT), est implémentée pour un setup similaire à celui d’AV&R afin de proposer une alternative à leur seconde méthode d’étalonnage. Parmi toutes les méthodes utilisées dans la routine de détection, un algorithme déterministe de détection de contours appelé Slope Detection est très sensible. En particulier, trois paramètres clés jouent un rôle important dans la variation du nombre de défauts détectés et du nombre de fausses détections : la taille du filtre, le seuil d’intensité et la taille minimale de défauts détectés. La corrélation entre les deux sorties de détection et les trois paramètres sensibles est quantifiée pour une acquisition. L’importance de chacun des paramètres est évaluée à l’aide d’une régression par forêt d’arbres décisionnels. Les incertitudes des algorithmes de détection dépendent des incertitudes d’étalonnage de la caméra. Étant donné que l’ensemble des incertitudes d’étalonnage n’est pas connu, une série d’images obtenues après étalonnage est utilisée pour évaluer l’incertitude de chaque pixel en prenant l’écart-type de l’intensité comme incertitude standard. Cela permet donc de tenir en compte les variabilités présentes au sein des processus d’étalonnage de la caméra dans l’évaluation des incertitudes de détection. L’incertitude du nombre de défauts détectés et du nombre de fausses détection fournis par Slope Detection est évaluée au moyen de simulations de Monte Carlo.----------ABSTRACT The automated visual inspection is a fast growing technology used in many industrial applications such as for the identification and the repair of damaged critical aeronautical parts. Measuring surface defects consists in taking images with one or several acquisition systems in order to apply digital image processing techniques. These methods use many different algorithms from detection and image registration to segmentation and classification of defects. For a robot-based acquisition, the robot kinematics must be taken into account. The aforementioned systems need a preliminary step of calibration to extract accurate information from the acquired images. Each step of this technology contains several sources of uncertainty due to internal and external factors. The evaluation of those uncertainties allows to quantify the quality of a measurement and identify the parts of the process having higher sensitivity to errors. Considering this large number of systems present in an inspection technology, the main objective of this project is to the estimate the uncertainties associated to the 2D acquisition process of AV&R, i.e. the camera calibration and the related defect detection algorithms. The inspection parts used in this project are fan blades. In particular, the assessment of detection uncertainties is focused on the defects near the leading edge and the root of the blade, the most critical zone. Eight acquisitions are acquired to cover the entire zone. To evaluate the uncertainty of both calibration methods developed by AV&R, the Monte Carlo method is used. Due to technical constrains on reference frames correspondence and the costs involved in the implementation of this method, the focus and depth of field calibration algorithm is adapted to a suitable programming language able to run Monte Carlo simulations. A camera pose estimation algorithm, called Pose from Orthography and Scaling with Iterations (POSIT), is implemented on a setup similar to the one used by AV&R in order to propose an alternative to their second calibration method. Among all the methods involved in the detection routine, a deterministic edge detection algorithm called Slope Detection is highly sensitive. In particular, three key parameters play an important role in the number of detected defects and the number of false detections: the filter size, the intensity threshold and the minimum size of detected defects. The correlation between both detection outputs and the three sensitive parameters is quantified for one particular acquisition. The importance of each variable is also estimated using a random forest regressor. The uncertainty of the detection algorithms relies on the uncertainty of the camera calibration methods. Since not all calibration uncertainties are known, a series of acquired post-calibration images is used to assess the uncertainty of each pixel considering the intensity standard deviation as the standard uncertainty. Therefore, the variability present within the camera calibration methods is taken into account in the evaluation of the detection uncertainties. The uncertainty of the detected defects and the number of false detections provided by Slope Detection is evaluated using Monte Carlo simulations