Persistent Homology Tools for Image Analysis

Topological Data Analysis (TDA) is a new field of mathematics emerged rapidly since the first decade of the century from various works of algebraic topology and geometry. The goal of TDA and its main tool of persistent homology (PH) is to provide topological insight into complex and high dimensional datasets. We take this premise onboard to get more topological insight from digital image analysis and quantify tiny low-level distortion that are undetectable except possibly by highly trained persons. Such image distortion could be caused intentionally (e.g. by morphing and steganography) or naturally in abnormal human tissue/organ scan images as a result of onset of cancer or other diseases. The main objective of this thesis is to design new image analysis tools based on persistent homological invariants representing simplicial complexes on sets of pixel landmarks over a sequence of distance resolutions. We first start by proposing innovative automatic techniques to select image pixel landmarks to build a variety of simplicial topologies from a single image. Effectiveness of each image landmark selection demonstrated by testing on different image tampering problems such as morphed face detection, steganalysis and breast tumour detection. Vietoris-Rips simplicial complexes constructed based on the image landmarks at an increasing distance threshold and topological (homological) features computed at each threshold and summarized in a form known as persistent barcodes. We vectorise the space of persistent barcodes using a technique known as persistent binning where we demonstrated the strength of it for various image analysis purposes. Different machine learning approaches are adopted to develop automatic detection of tiny texture distortion in many image analysis applications. Homological invariants used in this thesis are the 0 and 1 dimensional Betti numbers. We developed an innovative approach to design persistent homology (PH) based algorithms for automatic detection of the above described types of image distortion. In particular, we developed the first PH-detector of morphing attacks on passport face biometric images. We shall demonstrate significant accuracy of 2 such morph detection algorithms with 4 types of automatically extracted image landmarks: Local Binary patterns (LBP), 8-neighbour super-pixels (8NSP), Radial-LBP (R-LBP) and centre-symmetric LBP (CS-LBP). Using any of these techniques yields several persistent barcodes that summarise persistent topological features that help gaining insights into complex hidden structures not amenable by other image analysis methods. We shall also demonstrate significant success of a similarly developed PH-based universal steganalysis tool capable for the detection of secret messages hidden inside digital images. We also argue through a pilot study that building PH records from digital images can differentiate breast malignant tumours from benign tumours using digital mammographic images. The research presented in this thesis creates new opportunities to build real applications based on TDA and demonstrate many research challenges in a variety of image processing/analysis tasks. For example, we describe a TDA-based exemplar image inpainting technique (TEBI), superior to existing exemplar algorithm, for the reconstruction of missing image regions

Retrieval and classification methods for textured 3D models: a comparative study

International audienceThis paper presents a comparative study of six methods for the retrieval and classification of tex-tured 3D models, which have been selected as representative of the state of the art. To better analyse and control how methods deal with specific classes of geometric and texture deformations, we built a collection of 572 synthetic textured mesh models, in which each class includes multiple texture and geometric modifications of a small set of null models. Results show a challenging, yet lively, scenario and also reveal interesting insights in how to deal with texture information according to different approaches, possibly working in the CIELab as well as in modifications of the RGB colour space

Video tolling integrated solution

Trabalho de projeto de mestrado, Engenharia Informática (Engenharia de Software) Universidade de Lisboa, Faculdade de Ciências, 2020A indústria de cobrança de portagens foi instituída no século VII com o intuito de financiar e auxiliar na manutenção de vias públicas através do pagamento de taxas correspondentes ao seu uso. Contudo, o advento do uso massificado de veículos automóveis, e consequente aumento do tráfego, obrigou à adaptação desta indústria aos tempos modernos, tendo sido introduzida uma filosofia de livre trânsito complementar à tradicional paragem para pagamento. A adoção deste tipo de medida foi possível graças ao desenvolvimento de tecnologias de reconhecimento ótico de caracteres, que permitem a identificação da matrícula, aliados ao uso de identificadores registados para cada veículo. Porém, a ausência de paragem implica também a existência de infrações de condutores que circulem com matrículas obscurecidas ou de difícil leitura. Deste modo, é desejável o uso de métodos complementares de auxílio à identificação dos veículos, caso do reconhecimento da marca e modelo dos mesmos (MMR). Os sistemas de reconhecimento ótico de caracteres com o objetivo de identificar matrículas são já implementados nas soluções concebidas pela Accenture para os seus diversos clientes na área, tornando estes novos métodos complementares numa adição interessante à robustez dos mesmos, de modo a reduzir custos adicionais relacionados com a identificação manual de matrículas através das imagens captadas. O presente trabalho visou então, em primeira instância, o estabelecimento de uma prova de conceito com um modelo arquitetural que permitisse a integração de um sistema de reconhecimento de marca e modelo de veículos com os sistemas informáticos previamente desenvolvidos e que se encontram atualmente em uso por parte dos clientes. Para este modelo foi também estabelecido um conjunto de requisitos, tanto funcionais como não funcionais, com o intuito de minorar, tanto quanto possível, perdas no desempenho e fiabilidade dos atuais sistemas por consequência da introdução deste novo componente de MMR. Os requisitos foram definidos fazendo uso de uma versão modificada do modelo de qualidade FURPS, segundo as boas práticas definidas pela equipa de desenvolvimento do Centro de Excelência de Tolling (TCoE) da Accenture Portugal. Adicionalmente, os requisitos definidos foram sujeitos ao estabelecimento de prioridades segundo as regras MoSCoW. A captura de imagens de veículos em movimento e consequente classificação oferece desafios inerentes à sua complexidade, pelo que foram também efetuadas considerações sobre os fatores de variabilidade que devem ser tidos em conta aquando da conceção de um sistema MMR. Estes fatores foram classificados segundo três áreas principais: propriedades inerentes ao sistema de captura de imagens (RSE), propriedades do evento de captura da imagem, e propriedades do veículo. A arquitetura proposta para um eventual sistema que possa ser passível de integração com os existentes faz uso da arquitetura dos mesmos, organizando-se em quatro camadas, a saber: acesso a dados (camada inferior), gestão e regras de negócio, avaliação de resultados e aumento da base de conhecimento disponível, e correspondência (camada superior). Para a elaboração da presente prova de conceito, foram deste modo escolhidas tecnologias que permitem a integração com os sistemas Java previamente existentes sem despender demasiado esforço adicional nessa integração. Deste modo, foram utilizadas bibliotecas Python para o uso de OpenCV, que permite o processamento de imagens, e Tensorflow para as atividades relacionadas com machine learning. O desenvolvimento da prova de conceito para estes sistemas envolveu também o teste de hipóteses quanto ao modo mais vantajoso de reconhecimento da marca e modelo dos veículos propriamente dita. Para este efeito, foram equacionadas três hipóteses, que se basearam no uso de dois datasets distintos. O primeiro conceito abordado consistiu em fingerprinting de imagens associadas a um dataset desenvolvido na Universidade de Stanford, contendo 16185 imagens de veículos automóveis ligeiros em variadas poses, que podem ser divididas segundo 49 marcas e 196 modelos distintos, se for considerada a distinção dos anos de comercialização dos mesmos. Para o efeito, foi usado o modelo de características AKAZE e testados três métodos distintos para efetuar as correspondências: força bruta com teste de rácio descrito na literatura (para dois rácios distintos, 0,4 e 0,7), força bruta com recurso a função de cross-check nativa das bibliotecas usadas, e FLANN. A pertença de uma imagem a determinada categoria foi então ditada pelo estabelecimento de correspondências entre os seus pontos-chave e os pontos-chave das imagens do dataset, testando vários algoritmos de ordenação para aumentar as probabilidades de correspondência com uma imagem pertencente à mesma classe. Os resultados obtidos demonstraram, no geral, precisões relativamente baixas, sendo que nenhuma ultrapassou os 20% para o reconhecimento da marca ou modelo dos veículos. Contudo, dos ensaios efetuados, dois destacaram-se ao conseguir atingir 16,8% de precisão para a marca e 11,2% para o modelo. Estes ensaios tiveram, de resto, características em comum, sendo que, em ambos os casos, foi utilizado o método de força bruta com rácio de 0,4. Os métodos de ordenação de resultados foram, todavia, diferentes, sendo que num dos casos foi usado o valor máximo de pontos-chave em comum (MV) e no segundo um rácio entre este número de pontos em comum e o número de pontos-chave existentes (MR). De entre ambos, o ensaio que recorreu ao método MR foi considerado estatisticamente mais significativo, dado possuir um valor do coeficiente de correlação k de Cohen mais elevado em relação a MV. Os parcos resultados obtidos através deste método levaram à tentativa de adoção de uma abordagem diferente, nomeadamente no que tocava à seleção das imagens que deviam ser comparadas, uma vez que os fatores de variabilidade identificados na análise se encontravam demasiado presentes nas imagens do dataset de Stanford. Deste modo, a grelha do veículo foi identificada como região de interesse (ROI), dados os padrões distintivos inerentes à mesma e a presença do logotipo identificador da marca à qual pertence o veículo. O objetivo desta nova abordagem residia na identificação desta ROI de modo a proceder à sua extração a partir da imagem original, aplicando-sedepois os algoritmos de fingerprinting anteriormente abordados. A deteção da ROI foi efetuada com recurso a classificadores em cascata, os quais foram testados com dois tipos de características diferentes: LBP, mais rápidas, mas menos precisas, e Haar, mais complexas, mas também mais fiáveis. As imagens obtidas através da identificação e subsequente recorte foram depois analisadas segundo a presença de grelha, deteção da mesma ou de outros objetos, bem como o grau de perfeição da deteção efetuada. A determinação da ROI a recortar foi também avaliada segundo dois algoritmos: número total de interseções entre ROIs candidatas, e estabelecimento de um limiar de candidatos para uma ROI candidata ser considerada ou rejeitada (apelidado de min-neighbours). As cascatas foram treinadas com recurso a imagens não pertencentes ao dataset de Stanford, de modo a evitar classificações tendenciosas face a imagens previamente apresentadas ao modelo, e para cada tipo de característica foram apresentados dois conjuntos de imagens não correspondentes a grelhas (amostras negativas), que diferiam na sua dimensão e foram consequentemente apelidadas de Nsmall e Nbig. Os melhores resultados foram obtidos com o dataset Nsmall, estabelecimento de limiar, e com recurso a características Haar, sendo a grelha detetada em 81,1% dos casos em que se encontrava efetivamente presente na imagem. Contudo, esta deteção não era completamente a que seria desejável, uma vez que, considerando deteção perfeita e sem elementos externos, a precisão baixava para 32,3%. Deste modo, apesar das variadas vertentes em que esta deteção e extração de ROI foi estudada, foi decidido não avançar para o uso de fingerprinting, devido a constrangimentos de tempo e à baixa precisão que o sistema como um todo conseguiria alcançar. A última técnica a ser testada neste trabalho foi o uso de redes neuronais de convolução (CNN). Para o efeito, e de modo a obter resultados mais fiáveis para o tipo de imagem comumente capturado pelos RSE em contexto de open road tolling, foi usado um novo dataset, consistindo de imagens captadas em contexto real e cedidas por um dos clientes do TCoE. Dentro deste novo conjunto de imagens, foi feita a opção de testar apenas a marca do veículo, com essa classificação a ser feita de forma binária (pertence ou não pertence a determinada marca), ao invés de classificação multi-classe. Para o efeito, foram consideradas as marcas mais prevalentes no conjunto fornecido, Opel e Peugeot. Os primeiros resultados para o uso de CNN revelaram-se promissores, com precisão de 88,9% para a marca Opel e 95,3% para a Peugeot. Todavia, ao serem efetuados testes de validação cruzada para aferir o poder de generalização dos modelos, verificou-se um decréscimo significativo, tanto para Opel (79,3%) como para Peugeot (84,9%), deixando antever a possibilidade de ter ocorrido overfitting na computação dos modelos. Por este motivo, foram efetuados novos ensaios com imagens completamente novas para cada modelo, sendo obtidos resultados de 55,7% para a marca Opel e 57,4% para a marca Peugeot. Assim, embora longe de serem resultados ideais, as CNN aparentam ser a melhor via para um sistema integrado de reconhecimento de veículos, tornando o seu refinamento e estudo numa solução viável para a continuação de um possível trabalho nesta área.For a long time, tolling has served as a way to finance and maintain publicly used roads. In recent years, however, due to generalised vehicle use and consequent traffic demand, there has been a call for open-road tolling solutions, which make use of automatic vehicle identification systems which operate through the use of transponders and automatic license plate recognition. In this context, recognising the make and model of a vehicle (MMR) may prove useful, especially when dealing with infractions. Intelligent automated license plate recognition systems have already been adopted by several Accenture clients, with this new feature being a potential point of interest for future developments. Therefore, the current project aimed to establish a potential means of integrating such a system with the already existing architecture, with requirements being designed to ensure its current reliability and performance would suffer as little an impact as possible. Furthermore, several options were considered as candidates for the future development of an integrated MMR solution, namely, image fingerprinting of a whole image, grille selection followed by localised fingerprinting, and the use of convolutional neural networks (CNN) for image classification. Among these, CNN showed the most promising results, albeit making use of images in limited angle ranges, therefore mimicking those exhibited in captured tolling vehicle images, as well as performing binary classification instead of a multi-class one. Consequently, further work in this area should take these results into account and expand upon them, refining these models and introducing more complexity in the process

The Quantified Indices for Compensatory Patterns for Low Back Pain and Outcome Measures

The quantification of balance stability is valuable to a number of populations, including older adults with low back pain (LBP). Investigations into postural stability and one‐leg standing should be performed to integrate balance performance using kinematic and kinetic indices. The comparison of postural control between older adults with LBP and healthy older adults might contribute to a further understanding of postural adaptations, especially when considering visual condition. The one‐leg standing test would highlight the differences in kinematic and kinetic stabilities between groups. Because the eyes‐closed condition results in significantly decreased spinal stability, the normalized kinematic and kinetic indices could be utilized to compare postural integration as well as proprioceptive responses. Older adults with LBP demonstrated higher lumbar spine stability in the eyes‐open condition, which might be due to a possible pain avoiding strategy from the standing limb. Clinicians need to consider both kinetic and kinematic indices and visual condition when addressing lumbar spine stability. Quantified indices for compensatory patterns might provide further understanding of optimal injury prevention and rehabilitation strategies for individuals with LBP

Low back pain and sickness absence among sedentary workers: the influence of lumbar sagittal movement characteristics and psychosocial factors

Introduction: Low back pain remains a burden for society, since it can lead to sickness absence and work disability. Physical occupational risk factors can contribute to the development of back pain, yet little is known about any risks in sedentary jobs posed by sitting. The influence of psychosocial factors on back pain and sickness absence amongst sedentary workers is also unclear. The aim of this study was to measure work activities, lumbar movement characteristics, symptoms and psychosocial factors in order to determine associations with low back pain and sickness absence. Methods: Phase 1: involved validation of a fibre-optic goniometer system that attaches to the lumbar spine and hip to continuously measure: (1) activities (sitting, standing, walking); and (2) lumbar movement characteristics (notably sitting postures and kinematics). New questionnaires were also validated to measure aspects of low back discomfort. Phase 2: consisted of a cross-sectional survey of call centre workers (n=600) to collect data on: demographics, clinical and occupational psychosocial factors, and symptoms. An experimental sample (n=140) wore the goniometer system during work. Phase 3: involved a 6-month follow-up survey to collect back pain and sickness absence data (n=367). Logistic regression was used to determine associations (P<0.05) between data. Results: Workers spent 83% of work-time sitting, 26% of which was spent adopting a lordotic lumbar posture. Current back pain (>24hrs: yes/no) was associated with a kyphotic sitting posture (time spent with a lumbar curve ≥180°) (R2 0.05), although future back pain was not. Using multivariable models: limited variety of lumbar movement whilst sitting was associated with future (persistent) LBP, dominating other variables (R2 0.11); yet high levels of reported back discomfort, physical aggravating factors and psychological demand at work were stronger predictors of sickness absence, and dominated other variables (R2 0.24). Interpretation: Workers do not follow the advice from employers to maintain a lumbar lordosis whilst sitting, as recommended by statutory bodies. Furthermore, sitting with a kyphotic posture did not increase the risk of back pain, although a relative lack of lumbar movement did. Thus, ergonomic advice encouraging lumbar movement-in-sitting appears to be justified. Predictors of sickness absence were multi-factorial, and consideration of work-relevant biomedical and psychosocial factors would be more useful than adopting more narrow screening approaches

Deep CNN and MLP-based vision systems for algae detection in automatic inspection of underwater pipelines

Artificial neural networks, such as the multilayer perceptron (MLP), have been increasingly employed in various applications. Recently, deep neural networks, specially convolutional neural networks (CNN), have received considerable attention due to their ability to extract and represent high-level abstractions in data sets. This work describes a vision inspection system based on deep learning and computer vision algorithms for detection of algae in underwater pipelines. The proposed algorithm comprises a CNN or a MLP network, followed by a post-processing stage operating in spatial and temporal domains, employing clustering of neighboring detection positions and a region interception framebuffer. The performances of MLP, employing different descriptors, and CNN classifiers are compared in real-world scenarios. It is shown that the post-processing stage considerably decreases the number of false positives, resulting in an accuracy rate of 99.39%.Redes neurais artificiais, como o perceptron multicamada (MLP), têm sido cada vez mais empregadas em várias aplicações. Recentemente, as redes neurais profundas (deep neural networks), especialmente as redes neurais convolutivas (CNN), receberam atenção considerável devido à sua capacidade de extrair e representar abstrações de alto nível em conjuntos de dados. Esta dissertação descreve um sistema de inspeção automático baseado em algoritmos de aprendizado profundo (deep learning) e visão computacional para detecção de algas em dutos submarinos. O algoritmo proposto compreende uma rede CNN ou MLP, seguida de uma fase de pós-processamento que opera em domínios espaciais e temporais, empregando agrupamento de posições de detecção vizinhas e um buffer das regiões de interseção ao longo dos quadros. Os desempenhos de MLP, empregando diferentes descritores, e os classificadores CNN são comparados em cenários do mundo real. Mostra-se que a fase de pos-processamento diminui consideravelmente o número de falsos positivos, resultando em uma taxa de acerto de 99,39%

Algebraic, Topological, and Geometric Driven Convolutional Neural Networks for Ultrasound Imaging Cancer Diagnosis

Despite the astonishing successes of Convolutional Neural Networks (CNN) as a powerful deep learning tool for a variety of computer vision tasks, their deployments for ultrasound (US) tumour image analysis within clinical settings is challenging due to the difficulty of interpreting CNN decisions compounded by lack of availability of class labelled “good quality” US tumour image datasets that represent an i.i.d random sample of the unknown population. The use of CNN models pretrained on natural images in transfer learning (TL) mode for US image analysis are perceived to suffer from a lack of robustness to small changes and inability to generalisation to unseen data. This thesis aims to develop a strategy for designing efficient CNN architectures customised for US images that overcome or significantly reduce the above challenges while learning discriminating features resulting in highly accurate diagnostic predictions. We first uncover the significant differences in the statistical contents and spatial distribution of image texture landmarks (e.g. Local Binary Patterns) between US images and natural images. Therefore, we investigate the effects of convolution with random Gaussian filters (RGF) on US image content in terms of spatial and an innovative texture-based entropy, and the spatial distribution of texture landmarks. These effects are determined for US scan images of malignant and benign masses for breast, bladder, and liver tissues. We demonstrate that several pretrained CNN models retrained on US tumour scan images in TL mode achieve high diagnostic accuracy but suffer greatly from a lack of robustness against natural data perturbation and significantly low generalisation rates due to highly ill-conditioned convolutional layer filters. Thus,we investigate the behaviour of the CNN models during the training process in terms of three mathematically linked characterisation of the filters point clouds: (1) the distribution of their condition numbers, (2) their spatial distribution using persistent homology (PH) tools, and (3) their effects on tumour discriminating power of texture landmark PH scheme in convolved images. These results pave the way for a credible strategy to develop high-performing customised CNN architectures that are robust and generalise well to unseen US scans. We further develop a newapproach to ensure equal condition numbers across the different channel wise filters at initialisation, andwe highlight their impact on the PH profiles as point clouds. However, the condition number of filters continues to be unstable during training, therefore we introduce a simple novel matrix surgery procedure depending on singular value decomposition as a spectral regularisation. We illustrate that the PH of different point clouds of RGFs and their inverses are distinct (in terms of their birth/death of connected components and holes in dimensions 0 and 1) depending on variation in their condition number distributions. This behaviour changes as a result of applying SVD-surgery, so that the PH of point cloud of a filter set post SVD-surgery approaches the same shape and connectivity of a point cloud of orthogonal RGFs

The Leadbeater's Possum Review

This document reviews current science on Leadbeater’s Possum and its montane ash forest habitat in the Central Highlands of Victoria. The report comprises seven chapters on key topics related to the conservation and current management of Leadbeater’s Possum and the forest habitats on which the species depends. Chapter 1 gives a brief history of major events that effect Leadbeater’s Possum and its forest habitat in the Central Highlands of Victoria. Chapter 2 explores work on hollow-bearing trees, as they are the most critical habitat element that will dictate the species’ survival. Chapter 3 reviews some of the recent policies for the management of the species, while Chapters 4 and 5 provide a summary of some of the statistics and other information relating to Leadbeater’s Possum and the forests in which it is found. Chapter 6 explores information about and insights into the Mountain Ash ecosystem and why it is currently classified as Critically Endangered under IUCN Red List of Ecosystems criteria. Chapter 7 reviews many relevant government documents. Chapter 8 contains some general conclusions about the management of Leadbeater’s Possum and the forests in which it occurs. Throughout this report, unless otherwise specified, reference to ANU means the ANU scientists who have conducted research in the Victorian Central Highlands ecosystem over the past 34+ years, or the scientific work that they have produced. We examine the threats to Leadbeater’s Possum as well as critically appraise the effectiveness of management actions and protective measures designed to conserve the species. We examine the Critically Endangered listing of both Leadbeater’s Possum and the Mountain Ash ecosystem in which it lives, and why both are in a parlous state. The review looks back over the history of decisions and other factors that have led us to the current situation, and explores possible futures based on decisions currently being made. Our review relies heavily on the substantial scientific literature on Leadbeater’s Possum and Mountain Ash forest. Long term data and scientifically robust research will play an important role in rigorously assessing many current claims about the status of populations of Leadbeater’s Possum and its habitat and providing clarity on information to guide enhanced decision making. The area of remaining 1939 age forest in the Central Highlands is reaching low levels, and important decisions need to be made about how the forests of this age are managed. The next 5-10 years will be critical for how the Central Highlands ash forests and the species that inhabit them persist (or otherwise) over the next century