Image processing and analysis : applications and trends

The computational analysis of images is challenging as it usually involves tasks such as segmentation, extraction of representative features, matching, alignment, tracking, motion analysis, deformation estimation, and 3D reconstruction. To carry out each of these tasks in a fully automatic, efficient and robust manner is generally demanding.The quality of the input images plays a crucial role in the success of any image analysis task. The higher their quality, the easier and simpler the tasks are. Hence, suitable methods of image processing such as noise removal, geometric correction, edges and contrast enhancement or illumination correction are required.Despite the challenges, computational methods of image processing and analysis are suitable for a wide range of applications.In this paper, the methods that we have developed for processing and analyzing objects in images are introduced. Furthermore, their use in applications from medicine and biomechanics to engineering and materials sciences are presented

Ono: an open platform for social robotics

In recent times, the focal point of research in robotics has shifted from industrial ro- bots toward robots that interact with humans in an intuitive and safe manner. This evolution has resulted in the subfield of social robotics, which pertains to robots that function in a human environment and that can communicate with humans in an int- uitive way, e.g. with facial expressions. Social robots have the potential to impact many different aspects of our lives, but one particularly promising application is the use of robots in therapy, such as the treatment of children with autism. Unfortunately, many of the existing social robots are neither suited for practical use in therapy nor for large scale studies, mainly because they are expensive, one-of-a-kind robots that are hard to modify to suit a specific need. We created Ono, a social robotics platform, to tackle these issues. Ono is composed entirely from off-the-shelf components and cheap materials, and can be built at a local FabLab at the fraction of the cost of other robots. Ono is also entirely open source and the modular design further encourages modification and reuse of parts of the platform

Optimising additive manufacturing for fine art sculpture and digital restoration of archaeological artefacts

Additive manufacturing (AM) has shown itself to be beneficial in many application areas, including product design and manufacture, medical models and prosthetics, architectural modelling and artistic endeavours. For some of these applications, coupling AM with reverse engineering (RE) enables the utilisation of data from existing 3D shapes. This thesis describes the application of AM and RE within sculpture manufacture, in order to optimise the process chains for sculpture reproduction and relic conservation and restoration. This area poses particular problems since the original artefacts can often be fragile and inaccessible, and the finishing required on the AM replicas is both complex and varied. Several case studies within both literature and practical projects are presented, which cover essential knowledge of producing large scale sculptures from an original models as well as a wide range of artefact shapes and downstream finishing techniques. The combination of digital technologies and traditional art requires interdisciplinary knowledge across engineering and fine art. Also, definitions and requirements (e.g. ‘accuracy’), can be applied as both engineering and artistic terms when specifications and trade-offs are being considered. The thesis discusses the feasibility for using these technologies across domains, and explores the potential for developing new market opportunities for AM. It presents and analyses a number of case study projects undertaken by the author with a view to developing cost and time models for various processes used. These models have then been used to develop a series of "process maps", which enable users of AM in this area to decide upon the optimum process route to follow, under various circumstances. The maps were validated and user feedback obtained through the execution of two further sculpture manufacturing projects. The thesis finishes with conclusions about the feasibility of the approach, its constraints, the pros and cons of adopting AM in this area and recommendations for future research

A robust and automated FE-based method for fixtureless dimensional metrology of non-rigid parts using an improved numerical inspection fixture

Dimensional inspection is an important element in the quality control of mechanical parts that have deviations from their nominal (CAD) model resulting from the manufacturing process. The focus of this research is on the profile inspection of non-rigid parts, which are broadly used in the aeronautic and automotive industries. In a free-state condition, due to residual stress and gravity loads, a non-rigid part can have a different shape compared with its assembled condition. To overcome this issue, specific inspection fixtures are usually allocated in industry to compensate for the displacement of such parts in order to simulate the use state and accomplish dimensional inspections. These dedicated fixtures, their installation and the inspection process consume a large amount of time and cost. Therefore, our principal objective has been to develop an inspection plan for eliminating the need for specialised fixtures by digitizing the displaced part's surface using a contactless (optical) measuring device and comparing the acquired point cloud with the CAD model to identify deviations. In our previous work, we developed an approach to numerically inspect the profile of a non-rigid part using a non-rigid registration method and finite element analysis. To do so, a simulated displacement was performed using an improved definition of boundary conditions for simulating unfixed parts. In this paper, we will improve on the method and save time by increasing the accuracy of displacement boundary conditions and using automatic node insertion and finite element analysis. The repeatability and robustness of the approach will be also studied, and its metrological performance will be analysed. We will apply the improved method on two industrial non-rigid parts with free-form surfaces simulated with different types of displacement, defect and measurement noise (for evaluation of robustness)

Contribution à l’inspection automatique des pièces flexibles à l'état libre sans gabarit de conformation

The competitive industrial market demands manufacturing companies to provide the markets with a higher quality of production. The quality control department in industrial sectors verifies geometrical requirements of products with consistent tolerances. These requirements are presented in Geometric Dimensioning and Tolerancing (GD&T) standards. However, conventional measuring and dimensioning methods for manufactured parts are time-consuming and costly. Nowadays manual and tactile measuring methods have been replaced by Computer-Aided Inspection (CAI) methods. The CAI methods apply improvements in computational calculations and 3-D data acquisition devices (scanners) to compare the scan mesh of manufactured parts with the Computer-Aided Design (CAD) model. Metrology standards, such as ASME-Y14.5 and ISO-GPS, require implementing the inspection in free-state, wherein the part is only under its weight. Non-rigid parts are exempted from the free-state inspection rule because of their significant geometrical deviation in a free-state with respect to the tolerances. Despite the developments in CAI methods, inspection of non-rigid parts still remains a serious challenge. Conventional inspection methods apply complex fixtures for non-rigid parts to retrieve the functional shape of these parts on physical fixtures; however, the fabrication and setup of these fixtures are sophisticated and expensive. The cost of fixtures has doubled since the client and manufacturing sectors require repetitive and independent inspection fixtures. To eliminate the need for costly and time-consuming inspection fixtures, fixtureless inspection methods of non-rigid parts based on CAI methods have been developed. These methods aim at distinguishing flexible deformations of parts in a free-state from defects. Fixtureless inspection methods are required to be automatic, reliable, reasonably accurate and repeatable for non-rigid parts with complex shapes. The scan model, which is acquired as point clouds, represent the shape of a part in a free-state. Afterward, the inspection of defects is performed by comparing the scan and CAD models, but these models are presented in different coordinate systems. Indeed, the scan model is presented in the measurement coordinate system whereas the CAD model is introduced in the designed coordinate system. To accomplish the inspection and facilitate an accurate comparison between the models, the registration process is required to align the scan and CAD models in a common coordinate system. The registration includes a virtual compensation for the flexible deformation of the parts in a free-state. Then, the inspection is implemented as a geometrical comparison between the CAD and scan models. This thesis focuses on developing automatic and accurate fixtureless CAI methods for non-rigid parts along with assessing the robustness of the methods. To this end, an automatic fixtureless CAI method for non-rigid parts based on filtering registration points is developed to identify and quantify defects more accurately on the surface of scan models. The flexible deformation of parts in a free-state in our developed automatic fixtureless CAI method is compensated by applying FE non-rigid Registration (FENR) to deform the CAD model towards the scan mesh. The displacement boundary conditions (BCs) for FENR are determined based on the corresponding sample points, which are generated by the Generalized Numerical Inspection Fixture (GNIF) method on the CAD and scan models. These corresponding sample points are evenly distributed on the surface of the models. The comparison between this deformed CAD model and the scan mesh intend to evaluate and quantify the defects on the scan model. However, some sample points can be located close or on defect areas which result in an inaccurate estimation of defects. These sample points are automatically filtered out in our CAI method based on curvature and von Mises stress criteria. Once filtered out, the remaining sample points are used in a new FENR, which allows an accurate evaluation of defects with respect to the tolerances. The performance and robustness of all CAI methods are generally required to be assessed with respect to the actual measurements. This thesis also introduces a new validation metric for Verification and Validation (V&V) of CAI methods based on ASME recommendations. The developed V&V approach uses a nonparametric statistical hypothesis test, namely the Kolmogorov–Smirnov (K-S) test. In addition to validating the defects size, the K-S test allows a deeper evaluation based on distance distribution of defects. The robustness of CAI method with respect to uncertainties such as scanning noise is quantitatively assessed using the developed validation metric. Due to the compliance of non-rigid parts, a geometrically deviated part can still be assembled in the assembly-state. This thesis also presents a fixtureless CAI method for geometrically deviated (presenting defects) non-rigid parts to evaluate the feasibility of mounting these parts in the functional assembly-state. Our developed Virtual Mounting Assembly-State Inspection (VMASI) method performs a non-rigid registration to virtually mount the scan mesh in assembly-state. To this end, the point clouds of scan model representing the part in a free-state is deformed to meet the assembly constraints such as fixation position (e.g. mounting holes). In some cases, the functional shape of a deviated part can be retrieved by applying assembly loads, which are limited to permissible loads, on the surface of the part. The required assembly loads are estimated through our developed Restraining Pressures Optimization (RPO) aiming at displacing the deviated scan model to achieve the tolerance for mounting holes. Therefore, the deviated scan model can be assembled if the mounting holes on the predicted functional shape of scan model attain the tolerance range. Different industrial parts are used to evaluate the performance of our developed methods in this thesis. The automatic inspection for identifying different types of small (local) and big (global) defects on the parts results in an accurate evaluation of defects. The robustness of this inspection method is also validated with respect to different levels of scanning noise, which shows promising results. Meanwhile, the VMASI method is performed on various parts with different types of defects, which concludes that in some cases the functional shape of deviated parts can be retrieved by mounting them on a virtual fixture in assembly-state under restraining loads. Le marché industriel compétitif exige une production de haute qualité de la part des compagnies de fabrication. Le département de contrôle qualité dans les secteurs industriels vérifie les exigences géométriques des produits en se référant aux tolérances. Ces exigences sont présentées dans les normes de Dimensionnement Géométrique Et Tolérances (DG&T). Toutefois, les méthodes conventionnelles de mesure et de dimensionnement sont couteuses et longues. De nos jours, les méthodes de mesure manuelles sont remplacées par les méthodes automatisées dites Inspection Assistée par Ordinateur (IAO). Les méthodes IAO appliquent les améliorations dans le calcul informatique et les dispositifs d’acquisition de données 3-D afin de comparer le maillage du modèle scanné de la pièce fabriquée avec le modèle conçu par ordinateur utilisant la Conception Assistée par Ordinateur (CAO). Les normes de métrologie, telles que ASME-Y14.5 et ISO-GPS, exigent la mise en oeuvre de l'inspection à l'état libre dans lequel la pièce est soumise uniquement à la gravité. Les pièces souples (non rigide) sont exemptées de la règle d'inspection à l'état libre en raison de l'écart géométrique significatif de ces dernières au dit-état tenant compte des tolérances. En dépit du développement des méthodes IAO, l’inspection des pièces souples demeure un sérieux défi. Les méthodes d'inspection conventionnelles appliquent des gabarits complexes pour récupérer la forme fonctionnelle des pièces souples. Cependant, la fabrication et la configuration de ces gabarits de conformité sont compliquées et chères. Depuis que les clients et les industriels exigent des gabarits d’inspection répétitifs et indépendants, le prix de ces derniers a doublé. Les méthodes d'inspection sans gabarit des pièces souples basées sur les méthodes IAO ont été développées afin d'éliminer l’utilisation couteuse des gabarits de conformité. Ces procédés visent à distinguer les déformations flexibles des pièces à l'état libre des défauts. Les méthodes d'inspection sans gabarits doivent être automatiques, fiables, précises et reproductibles pour les pièces souples aux formes sophistiquées. Le modèle scanné, qui est obtenu sous forme de nuages de points, représente la forme d'une pièce à l'état libre. Ensuite, l'inspection des défauts est réalisée en comparant les modèles scannés et CAO, mais ces modèles sont présentés dans des systèmes de coordonnées indépendants. En effet, le modèle scanné est présenté dans le système de coordonnées du système de mesure (système de numérisation) tandis que le modèle de CAO est dans le système de coordonnées de conception. Pour effectuer l'inspection et faciliter une comparaison précise entre les modèles, le processus de recalage est nécessaire afin d’aligner et ramener plus près les modèles scanné et CAO dans un système commun de coordonnées. Le recalage inclut une compensation virtuelle de la déformation flexible des pièces à l'état libre. Après, l’inspection est assurée par une comparaison géométrique entre les modèles CAO et les pièces souples scannées. La présente thèse porte sur l’élaboration de méthodes automatiques d'inspection assistée par ordinateur sans gabarit. Ceci constitue une amélioration de la méthode d'inspection numérique généralisée (Generalized Numerical Inspection Fixture (GNIF)). Cette thèse présente également la vérification de la robustesse de notre nouvelle méthode. À cet effet, une méthode IAO automatique et sans gabarit pour des pièces souples basée sur des points de correspondance a été développée afin d’identifier et de quantifier plus précisément les défauts sur la surface des modèles scannés. La déformation flexible des pièces à l'état libre dans notre méthode est compensée en appliquant le recalage basé sur la méthode d’éléments finis, Recalage Non rigide par Élément Finis (RNÉF), pour déformer le modèle CAO vers le maillage du modèle scanné. Des points d'échantillonnage correspondants générés entre les modèles CAO et scanné d'une pièce sont utilisés afin de calculer le champ de déplacement qui sert de conditions aux limites dans RNÉF. Ces points d'échantillonnage correspondants, qui sont générés par la méthode GNIF, sont répartis uniformément sur la surface des modèles. La comparaison entre ce modèle CAO déformé et le maillage du modèle scanné vise à évaluer et à quantifier les défauts sur le modèle scanné. Cependant, certains points d'échantillonnage peuvent être situés à proximité ou sur des zones défectueuses, ce qui entraîne une estimation inexacte des défauts. Ces points d'échantillonnage sont automatiquement filtrés dans cette méthode IAO basée sur le calcul d’estimation de courbure et les contraintes de von Mises. Une fois filtrés, les points d'échantillonnage restants sont utilisés dans un nouveau RNÉF, ce qui permet une évaluation précise des défauts par rapport aux tolérances. Toutes les méthodes d’IAO nécessitent une évaluation de la performance et de la robustesse de la méthode par rapport aux mesures actuelles. Cette thèse introduit également une nouvelle métrique de validation pour la vérification et la validation (V&V) des méthodes IAO basée sur les recommandations ASME. L'approche V&V développée utilise un test d'hypothèse statistique non paramétrique, à savoir le test de Kolmogorov-Smirnov (K-S). En plus de valider la taille des défauts, le test K-S permet une évaluation plus approfondie basée sur la répartition de la distance entre le modèle scanné et le modèle CAO pour chaque défaut. La robustesse de notre méthode IAO par rapport aux incertitudes telles que les bruits de scan est évaluée quantitativement en utilisant la métrique de validation développée. En raison de la conformité des pièces souples, une pièce ayant des défauts peut encore être assemblée à l'état d'assemblage. Cette thèse présente également une méthode originale d’IAO sans gabarit pour des pièces souples comportant des défauts afin d’évaluer la faisabilité de l'assemblage de ces pièces à l'état d'assemblage fonctionnel. Notre méthode d'inspection virtuelle de montage à l'état d'assemblage, Virtual Mounting Assembly-State Inspection (VMASI), effectue un recalage non rigide pour monter virtuellement le maillage du modèle scanné à l'état d'assemblage. À cet effet, les nuages de points du modèle scanné représentant la pièce à l'état libre sont déformés pour répondre aux contraintes d'assemblage telles que la position de fixation (par exemple des trous de montage). Pour atteindre les exigences fonctionnelles sur des pièces souples comportant des défauts, l'application de charges d'assemblage est autorisée à la surface du modèle scanné. Ces charges d'assemblage sont limitées aux charges admissibles. Les charges d'assemblage requises sont estimées grâce à une nouvelle méthode d’optimisation de calcul des pressions de montage (pour mise en forme de la pièce sur le gabarit virtuel), Restraining Pressures Optimization (RPO), visant à déplacer le modèle scanné afin d'atteindre la tolérance pour les trous de montage. Par conséquent, le modèle scanné ayant des défauts peut être mis en forme sur le gabarit virtuel si les trous de montage sur la forme fonctionnelle prédite du modèle scanné atteignent la plage de tolérance. Différentes pièces de l'industrie aérospatiale sont utilisées pour évaluer la performance de nos méthodes développées dans cette thèse. L'inspection automatique pour identifier les différents types de défauts au niveau local et général sur les pièces conduit à une évaluation précise des défauts. La robustesse de la méthode d'inspection est également testée avec différents niveaux de bruits de numérisation, ce qui présente des résultats prometteurs. La méthode VMASI est validée par différents types de pièces déformables (flexible) en aérospatiale. Nous concluons que certaines pièces comportant des défauts peuvent être mise en forme à l’état d'assemblage lorsqu’elles sont soumises à des charges admissibles