Analysis of camera pose estimation using 2D scene features for augmented reality applications

La réalité augmentée (RA) a récemment eu un impact énorme sur les ingénieurs civils et les travailleurs de l'industrie de la construction, ainsi que sur leur interaction avec les plans ar-chitecturaux. La RA introduit une superposition du modèle 3D d'un bâtiment sur une image 2D non seulement comme une image globale, mais aussi potentiellement comme une repré-sentation complexe de ce qui va être construit et qui peut être visualisée par l'utilisateur. Pour insérer un modèle 3D, la caméra doit être localisée par rapport à son environnement. La lo-calisation de la caméra consiste à trouver les paramètres extérieurs de la caméra (i.e. sa po-sition et son orientation) par rapport à la scène observée et ses caractéristiques. Dans ce mémoire, des méthodes d'estimation de la pose de la caméra (position et orientation) par rapport à la scène utilisant des correspondances cercle-ellipse et lignes droites-lignes droites sont explorées. Les cercles et les lignes sont deux des caractéristiques géométriques qui sont principalement présentes dans les structures et les bâtiments. En fonction de la rela-tion entre les caractéristiques 3D et leurs images 2D correspondantes détectées dans l'image, la position et l'orientation de la caméra sont estimées.Augmented reality (AR) had recently made a huge impact on field engineers and workers in construction industry, as well as the way they interact with architectural plans. AR brings in a superimposition of the 3D model of a building onto the 2D image not only as the big picture, but also as an intricate representation of what is going to be built. In order to insert a 3D model, the camera has to be localized regarding its surroundings. Camera localization con-sists of finding the exterior parameters (i.e. its position and orientation) of the camera with respect to the viewed scene and its characteristics. In this thesis, camera pose estimation methods using circle-ellipse and straight line corre-spondences has been investigated. Circles and lines are two of the geometrical features that are mostly present in structures and buildings. Based on the relationship between the 3D features and their corresponding 2D data detected in the image, the position and orientation of the camera is estimated

Evaluating parametric uncertainty using non-linear regression in fringe projection

Optical coordinate measurement systems, such as fringe projection systems, offer fast, high-density measurements of arbitrary surface topographies. The versatility, speed and information density of fringe projection measurements make them attractive as in-situ measurement devices and autonomous inspection systems. However, the complex nature of the measurement process makes evaluating uncertainty from a fringe projection measurement complex – even in the hypothetical simple case where the accuracy of a measurement is limited only by the accuracy in the quantities that define a measurement from an indication; named system parameters here. In this paper, by validating a series of assumptions, a method to explore the uncertainty in the system parameters of a fringe projection system is given. The results of this investigation imply the common distortion model (the Brown-Conrady model) is not specific enough to the camera or projector of a fringe projection system to evaluate its uncertainty

Methodik zur Modellierung von photogrammetrischen Messungen zur Charakterisierung der Genauigkeit von Werkzeugmaschinen

An Werkzeugmaschinen können steuerungsintegrierte geometrisch-kinematische Korrekturmodelle, wie z.B. das VCS, sowie Laserinterferometer und Lasertracker zur Bestimmung von Korrekturparametern als Stand der Technik angesehen werden. Defizite bestehen derzeit in der Charakterisierung des genauigkeitsrelevanten Maschinenzustandes durch Bestimmung von Verformungen sowie der räumlichen Lagevermessung bewegter Maschinenbaugruppen im gesamten Arbeitsraum. Photogrammetrische Verfahren sind zwar prinzipiell in der Lage, dies zu realisieren, erreichen aber nicht die notwendige Genauigkeit und können hinsichtlich der Anzahl der Kameras und des Sichtfeldes nicht an die räumlichen Gegebenheiten einer Werkzeugmaschine angepasst werden. Ziel dieser Arbeit ist die Entwicklung eines photogrammetrischen Verfahrens zur Charakterisierung des Maschinenzustandes mit hoher Genauigkeit. Grundlage ist ein Messmodell, in dem die kinematische Struktur und die Messanordnung zusammengeführt wird. Weiterhin werden alle Objektzustände zusammengeführt, um einen möglichst hohen Informationsgehalt zu erreichen und diesen für statistische Auswertungen zugänglich zu machen. Zur Verifizierung werden Analysen von Komponenten und Maschinen sowie die Simulation von Messungen vorgestellt. Dabei wird die kinematische Achsanordnung im Messmodell berücksichtigt, was sowohl die Erstellung optimierter Messkonfigurationen als auch die direkte Parameterermittlung von Korrekturmodellen ermöglicht. Für die Bestimmung thermo-elastischer Verlagerungen an einem Hexapod wird eine erweiterte 6DoF-Messkonfiguration, bestehend aus stationären und mit der Maschine bewegten Kameras, vorgestellt. Damit können Messunsicherheiten von weniger als 10 μm bzw. 10 μm /m in einem Messvolumen von 600 mm x 600 mm x 400 mm experimentell verifiziert werden. Im Mittelpunkt steht dabei die Entwicklung eines Modellierungskonzepts für photogrammetrische Messungen. Anhand von Beispielmessungen wird gezeigt, dass dadurch die erzielbare Messgenauigkeit deutlich erhöht werden kann. Im Vordergrund steht dabei die Kombination der Modelle von Maschine und Messsystem sowie des Messzyklus in einem geschlossenen Messmodell. Durch die Entwicklungen im Bereich Industrie 4.0 besteht ein zunehmender Bedarf, Maschinen zu konfigurieren und zu kalibrieren. Gleichzeitig verbessern sich Leistung, Verfügbarkeit und Zugänglichkeit von maschinenspezifischen Modellen. Die Kombination von maschinenspezifischen Modellen mit Modellen der Messsysteme unter Verwendung der entwickelten Methodik ermöglicht eine deutliche Erhöhung der Messgenauigkeit.:Inhaltsverzeichnis 1 Einleitung und Motivation 1 1.1 Bedeutung und Genauigkeit von Werkzeugmaschinen 2 1.2 Erfassung der Genauigkeit 4 1.3 Anforderungen der Industrie 4.0 an WZM 5 1.4 Inhalt und Aufbau dieser Arbeit 6 2 Aufbau, Verhalten und Korrektur von WZM 9 2.1 Kinematischer Aufbau von WZM 10 2.2 Fertigungs- und Maschinengenauigkeit 11 2.3 Genauigkeitsbestimmende Verhaltensbereiche 13 2.4 Steuerungsintegrierte Korrektur 18 2.5 Methoden zur Erfassung von Abweichungen 20 2.6 Typische Messmittel an WZM 21 2.7 Defizite 29 3 Photogrammetrische Methoden 33 3.1 Bildentstehung 34 3.2 Bildverarbeitung 38 3.3 Objektrekonstruktion 41 3.4 Genauigkeitskenngrößen 50 3.5 Auswertemethoden 53 3.6 Potenziale und Defizite 59 4 Konkretisierung der Zielstellung 61 4.1 Bedarf 62 4.2 Zielstellung 63 4.3 Methodik 63 5 Entwicklung eines Modellierungskonzeptes für WZM 65 5.1 Struktur und Parameter der Modelle 66 5.2 Genauigkeitsrelevante Einflussgrößen 70 5.3 Modellierungskonzept 78 5.4 Beispielhafte Modellierung: DMU80 90 6 Realisierung und Test der Modellumgebung 95 6.1 Hard- und Softwarekonzept 96 6.2 Softwarekomponenten 97 6.3 Bildaufnahme und Bildspeicher 98 6.4 Realisierung und Test der Bildmessung 99 6.5 Implementierung der Modellkomponenten 107 6.6 Realisierung und Test der Ausgleichungskomponente 109 6.7 Verifikation der 3D-Koordinatenbestimmung 111 6.8 Zwischenfazit 112 7 Experimentelle Verifikation 113 7.1 Komponentenanalyse 115 7.2 Analyse von Maschinen 131 7.3 Simulation von Messkonfigurationen 144 8 Zusammenfassung und Ausblic

Determining uncertainty in the functional quantities of fringe projection

Fringe projection systems can acquire a point-cloud of more than a million points in minutes while not needing to ever physically touch the measurement surface and can be assembled using relatively inexpensive off-the-shelf components. Fringe projection system can conduct measurements faster than their tactile counterparts and typically require less training to do so. The disadvantage of using a fringe projection system is the measurements are less accurate than alternative tactile methods – and typical methods to obtain an uncertainty evaluation within fringe projection require a tactile system as a comparator. Anterior to any measurement, fringe projection systems undergo a calibration, whereby the set of functional quantities (defined in this thesis as the system parameters) are found that define the measurement (the point-cloud) from the indication (a set of images). The accuracy of the estimated parameters will define the accuracy of any measurements made by the system. The calibration process does not evaluate any uncertainty of the estimated system parameters – the accuracy of the estimation of the parameters remains unknown, as is their exact effect on the measurement result. In this thesis, an investigation into the using the system parameters to evaluate the uncertainty of fringe projection measurements is made. Firstly, a method to localise the centre of ellipses in camera images with an uncertainty is given. This uncertainty is used to derive the uncertainty in the estimated system parameters. The uncertainty in the system parameters is tested by using the system parameters to measure known artefacts, a flatness artefact and two sphere-based artefacts, where the propagated uncertainty is tested against the measurement error. The accuracy of the system parameters are tested by comparing the measurement error of the measurements with measurements made on a commercial system, the GOM ATOS Core 300. In addition, an exhaustive study is undertaken on the calibration, including applying curvature, specificity and parameter stability tests on the non-linear regression used within calibration. The sphere-based measurements were found to not be robust enough against measurement noise in fringe projection to be able to provide information on errors caused by the system parameters. This thesis raises questions as to the appropriateness of using sphere-based measurements to represent the performance of a fringe projection system. The flatness measurements made using the estimated system parameters achieved an accuracy of approximately 30 "μm" across a 300 "mm"×140 "mm" flatness artefact, which is similar to measurements made by the commercial system. However, the estimated uncertainty was unable to explain all measurement discrepancy between the fringe projection measurements and the tactile measurements. The result specificity test indicated poor specificity of the mathematical model of fringe projection, namely the camera pinhole model with Brown-Conrady distortion. It is concluded that the level of accuracy of the mathematical model has become a limiting factor in the accuracy of fringe projection measurements, instead of the accuracy of the inputs to the calibration. Therefore, the uncertainty of the system parameters cannot be used to evaluate an uncertainty of a measurement made using a fringe projection system

Determining uncertainty in the functional quantities of fringe projection

Fringe projection systems can acquire a point-cloud of more than a million points in minutes while not needing to ever physically touch the measurement surface and can be assembled using relatively inexpensive off-the-shelf components. Fringe projection system can conduct measurements faster than their tactile counterparts and typically require less training to do so. The disadvantage of using a fringe projection system is the measurements are less accurate than alternative tactile methods – and typical methods to obtain an uncertainty evaluation within fringe projection require a tactile system as a comparator. Anterior to any measurement, fringe projection systems undergo a calibration, whereby the set of functional quantities (defined in this thesis as the system parameters) are found that define the measurement (the point-cloud) from the indication (a set of images). The accuracy of the estimated parameters will define the accuracy of any measurements made by the system. The calibration process does not evaluate any uncertainty of the estimated system parameters – the accuracy of the estimation of the parameters remains unknown, as is their exact effect on the measurement result. In this thesis, an investigation into the using the system parameters to evaluate the uncertainty of fringe projection measurements is made. Firstly, a method to localise the centre of ellipses in camera images with an uncertainty is given. This uncertainty is used to derive the uncertainty in the estimated system parameters. The uncertainty in the system parameters is tested by using the system parameters to measure known artefacts, a flatness artefact and two sphere-based artefacts, where the propagated uncertainty is tested against the measurement error. The accuracy of the system parameters are tested by comparing the measurement error of the measurements with measurements made on a commercial system, the GOM ATOS Core 300. In addition, an exhaustive study is undertaken on the calibration, including applying curvature, specificity and parameter stability tests on the non-linear regression used within calibration. The sphere-based measurements were found to not be robust enough against measurement noise in fringe projection to be able to provide information on errors caused by the system parameters. This thesis raises questions as to the appropriateness of using sphere-based measurements to represent the performance of a fringe projection system. The flatness measurements made using the estimated system parameters achieved an accuracy of approximately 30 "μm" across a 300 "mm"×140 "mm" flatness artefact, which is similar to measurements made by the commercial system. However, the estimated uncertainty was unable to explain all measurement discrepancy between the fringe projection measurements and the tactile measurements. The result specificity test indicated poor specificity of the mathematical model of fringe projection, namely the camera pinhole model with Brown-Conrady distortion. It is concluded that the level of accuracy of the mathematical model has become a limiting factor in the accuracy of fringe projection measurements, instead of the accuracy of the inputs to the calibration. Therefore, the uncertainty of the system parameters cannot be used to evaluate an uncertainty of a measurement made using a fringe projection system

Ré-observabilité des points caractéristiques pour le calibrage et le positionnement d'un capteur multi-caméra

Le calibrage et le positionnement de caméras reposent sur l'extraction de caractéristiques dans l'image et leur reconnaissance dans les images subséquentes. Une caractéristique est une région de l'image localement saillante à laquelle sont associées une position et une description de l'apparence de cette région. Les algorithmes de calibrage et de positionnement reposent sur l'hypothèse qu'un ensemble de caractéristiques correspondantes est l'observation du même point physique de la scène. Toutefois, cette hypothèse n'est pas nécessairement respectée par toutes les caractéristiques correspondantes. Les causes de la présence de ces caractéristiques nuisibles sont multiples, allant de biais induits par la méthode de localisation dans l'image, jusqu'à la déformation de l'image lorsque la caméra change de point de vue. Le principal défi du calibrage et du positionnement est donc l'identification de caractéristiques fiables. Pour pallier ce problème, nous introduisons le concept de ré-observabilité d'une caractéristique. Ce concept regroupe l'unicité du point physique et la reconnaissance. Un point de la scène est défini par ses observations dans les images et par les poses associées à ces images. Ainsi, une caractéristique doit être localisée le plus précisément possible dans l'image. Pour ce faire, nous avons identifié les biais affectant la localisation des caractéristiques dans l'image en calibrage pour une scène contrôlée et en positionnement où le capteur évolue dans une scène inconnue. Pour chaque biais, nous proposons une solution simple permettant de réduire, voire éliminer le biais. Ceci a mené au développement de nouveaux détecteurs de caractéristiques. Ensuite, à partir de plusieurs images, nous évaluons la cohérence entre les observations et les poses de la caméra à l'aide de critères multi-vue. Les caractéristiques nuisibles peuvent alors être identifiées. L'aspect reconnaissance est traité en évaluant la distinction des caractéristiques qui peuvent être distinctes localement ou globalement dans la scène. Une application directe de ce concept concerne la visibilité des caractéristiques où l'observation d'une caractéristique distincte globalement renforce la probabilité d'observer une caractéristique distincte localement si elles ont été observées conjointement. Chacun des concepts de la ré-observabilité est appuyé par une application réelle de calibrage et de positionnement d'un capteur multi-caméra