Automatic Extrinsic Self-Calibration of Mobile Mapping Systems Based on Geometric 3D Features

Mobile Mapping is an efficient technology to acquire spatial data of the environment. The spatial data is fundamental for applications in crisis management, civil engineering or autonomous driving. The extrinsic calibration of the Mobile Mapping System is a decisive factor that affects the quality of the spatial data. Many existing extrinsic calibration approaches require the use of artificial targets in a time-consuming calibration procedure. Moreover, they are usually designed for a specific combination of sensors and are, thus, not universally applicable. We introduce a novel extrinsic self-calibration algorithm, which is fully automatic and completely data-driven. The fundamental assumption of the self-calibration is that the calibration parameters are estimated the best when the derived point cloud represents the real physical circumstances the best. The cost function we use to evaluate this is based on geometric features which rely on the 3D structure tensor derived from the local neighborhood of each point. We compare different cost functions based on geometric features and a cost function based on the Rényi quadratic entropy to evaluate the suitability for the self-calibration. Furthermore, we perform tests of the self-calibration on synthetic and two different real datasets. The real datasets differ in terms of the environment, the scale and the utilized sensors. We show that the self-calibration is able to extrinsically calibrate Mobile Mapping Systems with different combinations of mapping and pose estimation sensors such as a 2D laser scanner to a Motion Capture System and a 3D laser scanner to a stereo camera and ORB-SLAM2. For the first dataset, the parameters estimated by our self-calibration lead to a more accurate point cloud than two comparative approaches. For the second dataset, which has been acquired via a vehicle-based mobile mapping, our self-calibration achieves comparable results to a manually refined reference calibration, while it is universally applicable and fully automated

Uterine contractions clustering based on surface electromyography: an input for pregnancy monitoring

Tese de mestrado em Bioestatística, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, em 2018Inicialmente a investigação da contratilidade uterina recorria à utilização de dois métodos: o tocograma externo e o cateter de pressão intrauterino. Ambos os métodos apresentam limitações ao nível da avaliação do risco de parto prematuro e na monitorização da gravidez. O EHG (Electrohisterograma) é um método alternativo ao tocograma externo e ao cateter de pressão intrauterino. Este método pode ser aplicado de forma invasiva no músculo uterino, ou de forma não invasiva através de elétrodos colocados no abdómen. O EHG tem sido considerado uma ferramenta adequada para a monitorização da gravidez e do parto. O índice de massa corporal tem um impacto quase impercetível no EHG, sendo esta uma das principais características deste método. O EHG pode também ser utilizado para identificar as mulheres que vão entrar em trabalho de parto e ainda auxiliar na tomada de decisão médica quanto à utilização da terapia tocolítica (antagonista da oxitocina), evitando deste modo a ingestão de medicação desnecessária e os consequentes efeitos secundários. Na literatura existem apenas cinco casos publicados em que foi realizada uma separação dos principais eventos do sinal EHG: contrações, movimentos fetais, ondas Alvarez e ondas LDBF (Longue Durée Basse Fréquence). Em três das publicações a separação dos eventos foi feita manualmente e nos restantes casos algoritmos, como redes neuronais, foram aplicados ao EHG. As ondas Alvarez e as Braxton-Hicks são as mais reconhecidas. As ondas Alvarez foram descritas pela primeira vez nos anos cinquenta e as Braxton-Hicks foram descritas pela primeira vez em 1872 sendo detetadas através de palpação. As ondas Alvarez são ocasionalmente sentidas pela mulher. Estas ondas estão localizadas numa pequena área do tecido uterino sem propagação e podem levar a contrações com maior intensidade e, consequentemente, ao parto pré-termo. As Braxton-Hicks são contrações ineficientes registadas a partir da 20ª semana de gravidez que se tornam mais frequentes e intensas com o decorrer da gravidez. Estas contrações são menos localizadas que as ondas Alvarez e, durante o parto, propagam-se por todo o tecido uterino num curto período de tempo. As Braxton-Hicks estão associadas a uma diminuição do ritmo cardíaco fetal. As ondas LDBF são contrações de longa duração associadas a hipertonia uterina, quando há contração do tecido uterino sem retorno ao relaxamento muscular, o que representa um risco na gravidez. Neste trabalho foram utilizadas duas bases de dados. Na base de dados da Islândia existem 122 registos de 45 mulheres, dos quais apenas 4 correspondem a partos pré-termo. Na base de dados TPEHG (Term-Preterm EHG) existem 300 registos, dos quais 38 correspondem a partos pré-termo. Neste trabalho foram escolhidos canais bipolares, visto que estes reduzem o ruído idêntico, como o ECG (Eletrocardiograma) materno ou movimentos respiratórios. Para ambas as bases de dados os sinais originais de EHG foram processados e filtrados. Na estimação espetral foram considerados dois métodos: paramétricos e não paramétricos. O método Welch foi escolhido pois representa um bom compromisso entre ambos. Este método foi utilizado para calcular o espectro de cada evento detetado no sinal EHG. Para detetar os eventos no sinal EHG foram considerados cinco métodos baseados na energia ou amplitude. O método Wavelet foi o escolhido pois após uma inspeção visual, este era o método que delineava melhor as contrações. Na base de dados da Islândia foram identificadas 3136 contrações e na TPEHG foram encontradas 4622 contrações. O objetivo principal desta tese é obter clusters de contrações detetadas no sinal EHG. No entanto, as contrações são séries temporais não estacionárias, e a sua classificação visual é inviável a longo termo e também difícil de aplicar na prática clínica. Existem vários parâmetros que podem ser extraídos do sinal EHG, mas o espectro das contrações foi o método escolhido visto que este representa o sinal EHG e tem sempre a mesma dimensão, independentemente da duração da contração. As distâncias espetrais têm sido utilizadas com sucesso no reconhecimento áudio. Neste trabalho foi realizada uma aplicação desse método ao processamento do EHG, no qual foram realizados os ajustes necessários. Para comparar os espectros foram estudadas 8 distâncias diferentes: Itakura-Saito, COSH, Itakura, Itakura simétrica, Kullback-Leibler, Jeffrey, Rényi e Jensen-Rényi. Apenas as distâncias simétricas foram selecionadas para um estudo mais detalhado visto que estas são, segundo a literatura, as distâncias mais adequadas aquando do clustering. Após comparação das distâncias simétricas, a divergência de Jeffrey foi a selecionada para a comparação dos espectros. Nesta tese foram avaliados três métodos diferentes de clustering: o linkage, o K-means e o K-medoids. O linkage é um método hierárquico. Os clusters que resultam do agrupamento hierárquico estão organizados numa estrutura chamada dendrograma. No agrupamento hierárquico, não é necessário predeterminar o número de clusters, o que torna este um método ideal na exploração dos dados. O K-means e o K-medoids são métodos de partição, nos quais os dados são separados em k clusters decididos previamente. Os clusters são definidos de forma a otimizar a função da distância. No algoritmo K-means, os clusters baseiam-se na proximidade entre si de acordo com uma distância predeterminada. A diferença entre o K-medoids e o K-means é que o K-medoids escolhe pontos de dados como centros, chamados de medoides, enquanto K-means usa centróides. Após uma comparação dos diferentes métodos de clustering foi escolhido neste trabalho foi o average linkage, visto que este apresentava melhores resultados quer na separação dos espectros quer na silhueta. É então apresentado um método inovador no qual se utiliza todo o espectro das contrações detetadas automaticamente no EHG para o clustering não supervisionado. Esta técnica é uma contribuição para a classificação automática das diferentes contrações, especialmente aquelas mais reconhecidas na literatura: Alvarez e Braxton-Hicks. Era expectável encontrar um cluster isolado com as ondas LDBF, visto que estas representam um risco para o feto. O principal objetivo era juntar num cluster os espectros semelhantes das contrações, e relacioná-lo com o respetivo tipo de contração. Essa tarefa foi concluída através da identificação positiva de Alvarez e Braxton-Hicks. O clustering forneceu ainda algumas pistas sobre ondas Alvarez que não foram encontradas com o algoritmo de deteção de contrações, situação para a qual um método alternativo é apresentado. É sugerido que as ondas Alvarez sejam detetadas com métodos baseados na frequência, como, por exemplo, a frequência instantânea, no entanto este método não foi desenvolvido neste trabalho. Em relação às ondas LDBF, estas foram encontradas no cluster das Braxton-Hicks. É sugerido que a deteção das ondas LDBF seja baseada na sua caraterística mais distinta: a longa duração. Verificou-se que os casos pré-termo e os registos pré-parto não ficaram isolados num cluster, não se tendo encontrado uma relação entre a idade gestacional e o tipo de contração. Conclui-se que as contrações mais curtas apresentam maior amplitude do que as contrações com maior duração. Baseado em estudos anteriores sobre a eletrofisiologia do útero, supõem-se que o início do trabalho de parto pré-termo e termo esteja associado a sequências específicas de diferentes tipos de contrações, nas quais as ondas Alvares desempenham um papel importante. As contrações identificadas como Alvarez e Braxton-Hicks não são usadas como tal na prática clínica apesar de a maioria das contrações detetadas pelo tocograma serem Braxton-Hicks. O interesse pelas ondas Alvarez diminuiu rapidamente visto que estas ondas são praticamente indetetáveis pelo método de referência de deteção de contrações: o tocograma. As capacidades e a resolução do EHG levaram à renovação do estudo das contrações mais subtis, incluindo as Alvarez. Este trabalho é uma contribuição para a investigação nesta área.An innovative technique is introduced wherein where an unsupervised clustering method using as feature the whole spectrum of automatically detected contractions on the EHG (Electrohysterogram) is presented as a contribution to the automatic classification of the different uterine contractions, at least those that have been most recognized in the literature: Alvarez and Braxton-Hicks. It was expected to also be able to cluster the LDBF (Longue Durée Basse Fréquence) components, as these pose a fetal risk. The main task was to have the spectral contractions descriptions clustered and linked to the respective contraction type. That task was completed with positive identification of the Alvarez and Braxton-Hicks. The clustering process also provided clues regarding the missed Alvarez waves in the contraction detection algorithm, for which an alternative technique is suggested but not developed in this work. Regarding the LDBF they were found in the Braxton-Hicks cluster. It is suggested the LDBF´s to be detected based in their most prominent feature: the long duration. It is presented the rationale behind the selection of a cost function to be used in the spectral distance’s algorithm. Spectral distances have been successfully used in audio recognition and this works represents an application to the EHG processing, for which the necessary adjustments have to be implemented. It was found that no single cluster pointed to the preterm cases, or indeed to the pre-labor subject recordings. It is hypothesized, based on previous studies in uterine electrophysiology, that the initiation of pre-term or term labor should be associated with triggering contraction sequences of different types, where the Alvarez waves play a major role. Alvarez and Braxton-Hicks, labeled as such, are not typically used in the clinical environment despite most of the Tocogram detected contractions being the latter. Alvarez waves are not usually detectable by the Tocogram. Alvarez were firstly detected invasively in the early fifties, and Braxton-Hicks in 1872 using routine palpation techniques. The interest in Alvarez components declined rapidly since being practically undetectable by the de facto reference in the contraction detection: the Tocogram. The EHG capabilities and resolution made it possible to revive the research on the most subtle uterine contractions, Alvarez included and this work is a contribution in this research area

Sviluppo di una Metodologia per la Selezione e il Controllo Qualità di Ventilatori per Cappe Aspiranti in Linea di Produzione Mediante Analisi Vibrazionale

Fin dai primi anni del secolo scorso i ricercatori hanno condotto ricerche e sviluppato soluzioni per diagnosticare l’insorgere di difettosità nei motori ad induzione per aumentarne l’affidabilità e la qualità. La letteratura è ricca di esempi nei quali vengono utilizzate le più conosciute tecniche di elaborazione del segnale e negli ultimi anni l’utilizzo di algoritmi di intelligenza artificiale ha portato ad ulteriori miglioramenti nella prevenzione dei guasti e delle loro conseguenze. In questo lavoro viene presentato un approccio differente per diagnosticare la presenza di difettosità nei motori ad induzione, una metodologia originale per il tipo di applicazione basata sul calcolo delle divergenze statistiche tra distribuzioni di probabilità e sul calcolo delle entropie e della cross-entropia. Vengono proposti e confrontati cinque diversi metodi per ottenere le distribuzioni di probabilità dai segnali misurati, due differenti formulazioni per il calcolo delle divergenze e quattro per il calcolo dell’entropia. L’efficacia e la maggiore robustezza degli indicatori calcolati con il metodo proposto rispetto ai tradizionali indicatori statistici sono dimostrate tramite le analisi condotte sulle misure accelerometriche acquisite durante lo sviluppo della procedura per il controllo qualità dei ventilatori per cappe aspiranti uscenti dalla linea di produzione di SIT S.p.A. Ne viene presentata inoltre una versione modificata utilizzando la trasmissibilità del banco di collaudo come filtro inverso, soluzione che la rende efficace anche quando applicata alle misure acquisite dal sensore accelerometrico di linea. La procedura proposta ha dimostrato capacità di classificazione con un accuratezza superiore al 95%. Infine, sfruttando le potenzialità del machine learning, viene proposta una soluzione che, utilizzando un Autoencoder, è in grado di migliorare i risultati ottenuti in precedenza, raggiungendo valori analoghi come accuratezza ma migliori in termini di falsi negativi.Since the early years of the last century, researchers have conducted research and developed solutions to diagnose the onset of defects in induction motors to increase their reliability and quality. The literature is full of examples in which the well-known signal processing techniques are used and in recent years the use of artificial intelligence algorithms has led to further improvements in the prevention of faults and their consequences. In this work a different approach is presented to diagnose the presence of defects in induction motors, an original methodology for the type of application based on the calculation of statistical divergences between probability distributions and on the calculation of entropies and cross-entropy. Five different methods for obtaining probability distributions from measured signals are proposed and compared, two different formulations for calculating divergences and four for calculating entropy. The effectiveness and greater robustness of the indicators calculated with the proposed method compared to traditional statistical indicators are demonstrated through the analyses conducted on the accelerometric measurements acquired during the development of the procedure for the quality control of the fans for extractor hoods leaving the production line of SIT S.p.A. A modified version is also presented using the transmissibility of the production bench as an inverse filter, a solution that makes it effective even when applied to the measurements acquired by the accelerometric sensor positioned on the production station. The proposed procedure has demonstrated classification capabilities with an accuracy greater than 95%. Finally, exploiting the potential of machine learning, a solution is proposed which, using an Autoencoder, is able to improve the results previously obtained, reaching similar values in terms of accuracy but better in terms of false negatives

Selbstkalibrierung mobiler Multisensorsysteme mittels geometrischer 3D-Merkmale

Ein mobiles Multisensorsystem ermöglicht die effiziente, räumliche Erfassung von Objekten und der Umgebung. Die Kalibrierung des mobilen Multisensorsystems ist ein notwendiger Vorverarbeitungsschritt für die Sensordatenfusion und für genaue räumliche Erfassungen. Bei herkömmlichen Verfahren kalibrieren Experten das mobile Multisensorsystem in aufwändigen Prozeduren vor Verwendung durch Aufnahmen eines Kalibrierobjektes mit bekannter Form. Im Gegensatz zu solchen objektbasierten Kalibrierungen ist eine Selbstkalibrierung praktikabler, zeitsparender und bestimmt die gesuchten Parameter mit höherer Aktualität. Diese Arbeit stellt eine neue Methode zur Selbstkalibrierung mobiler Multisensorsysteme vor, die als Merkmalsbasierte Selbstkalibrierung bezeichnet wird. Die Merkmalsbasierte Selbstkalibrierung ist ein datenbasiertes, universelles Verfahren, das für eine beliebige Kombination aus einem Posenbestimmungssensor und einem Tiefensensor geeignet ist. Die fundamentale Annahme der Merkmalsbasierten Selbstkalibrierung ist, dass die gesuchten Parameter am besten bestimmt sind, wenn die erfasste Punktwolke die höchstmögliche Qualität hat. Die Kostenfunktion, die zur Bewertung der Qualität verwendet wird, basiert auf Geometrischen 3D-Merkmalen, die wiederum auf den lokalen Nachbarschaften jedes Punktes basieren. Neben der detaillierten Analyse unterschiedlicher Aspekte der Selbstkalibrierung, wie dem Einfluss der Systemposen auf das Ergebnis, der Eignung verschiedener Geometrischer 3D-Merkmale für die Selbstkalibrierung und dem Konvergenzradius des Verfahrens, wird die Merkmalsbasierte Selbstkalibrierung anhand eines synthethischen und dreier realer Datensätze evaluiert. Diese Datensätze wurden dabei mit unterschiedlichen Sensoren und in unterschiedlichen Umgebungen aufgezeichnet. Die Experimente zeigen die vielseitige Einsetzbarkeit der Merkmalsbasierten Selbstkalibrierung hinsichtlich der Sensoren und der Umgebungen. Die Ergebnisse werden stets mit einer geeigneten objektbasierten Kalibrierung aus der Literatur und einer weiteren, nachimplementierten Selbstkalibrierung verglichen. Verglichen mit diesen Verfahren erzielt die Merkmalsbasierte Selbstkalibrierung bessere oder zumindest vergleichbare Genauigkeiten für alle Datensätze. Die Genauigkeit und Präzision der Merkmalsbasierten Selbstkalibrierung entspricht dem aktuellen Stand der Forschung. Für den Datensatz, der die höchsten Sensorgenauigkeiten aufweist, werden beispielsweise die Parameter der relativen Translation zwischen dem Rigid Body eines Motion Capture Systems und einem Laserscanner mit einer Genauigkeit von ca. $1\,\mathrm{cm}$ bestimmt, obwohl die Distanzmessgenauigkeit dieses Laserscanners nur $3\,\mathrm{cm}$ beträgt

Robust and Optimal Methods for Geometric Sensor Data Alignment

Geometric sensor data alignment - the problem of finding the rigid transformation that correctly aligns two sets of sensor data without prior knowledge of how the data correspond - is a fundamental task in computer vision and robotics. It is inconvenient then that outliers and non-convexity are inherent to the problem and present significant challenges for alignment algorithms. Outliers are highly prevalent in sets of sensor data, particularly when the sets overlap incompletely. Despite this, many alignment objective functions are not robust to outliers, leading to erroneous alignments. In addition, alignment problems are highly non-convex, a property arising from the objective function and the transformation. While finding a local optimum may not be difficult, finding the global optimum is a hard optimisation problem. These key challenges have not been fully and jointly resolved in the existing literature, and so there is a need for robust and optimal solutions to alignment problems. Hence the objective of this thesis is to develop tractable algorithms for geometric sensor data alignment that are robust to outliers and not susceptible to spurious local optima. This thesis makes several significant contributions to the geometric alignment literature, founded on new insights into robust alignment and the geometry of transformations. Firstly, a novel discriminative sensor data representation is proposed that has better viewpoint invariance than generative models and is time and memory efficient without sacrificing model fidelity. Secondly, a novel local optimisation algorithm is developed for nD-nD geometric alignment under a robust distance measure. It manifests a wider region of convergence and a greater robustness to outliers and sampling artefacts than other local optimisation algorithms. Thirdly, the first optimal solution for 3D-3D geometric alignment with an inherently robust objective function is proposed. It outperforms other geometric alignment algorithms on challenging datasets due to its guaranteed optimality and outlier robustness, and has an efficient parallel implementation. Fourthly, the first optimal solution for 2D-3D geometric alignment with an inherently robust objective function is proposed. It outperforms existing approaches on challenging datasets, reliably finding the global optimum, and has an efficient parallel implementation. Finally, another optimal solution is developed for 2D-3D geometric alignment, using a robust surface alignment measure. Ultimately, robust and optimal methods, such as those in this thesis, are necessary to reliably find accurate solutions to geometric sensor data alignment problems