Unsupervised behavioral classification with 3D pose data from tethered Drosophila melanogaster

Tese de mestrado integrado em Engenharia Biomédica e Biofísica (Biofísica Médica e Fisiologia de Sistemas), Universidade de Lisboa, Faculdade de Ciências, 2020O comportamento animal e guiado por instruções geneticamente codificadas, com contribuições do meio envolvente e experiências antecedentes. O mesmo pode ser considerado como o derradeiro output da atividade neuronal, pelo que o estudo do comportamento animal constitui um meio de compreensão dos mecanismos subjacentes ao funcionamento do cérebro animal. Para desvendar a correspondência entre cérebro e comportamento são necessárias ferramentas que consigam medir um comportamento de forma precisa, apreciável e coerente. O domínio científico responsável pelo estudo dos comportamentos dos animais denomina-se Etologia. No início do seculo XX, os etólogos categorizavam comportamentos animais com recurso as suas próprias intuições e experiência. Consequentemente, as suas avaliações eram subjetivas e desprovidas de comportamentos que os etólogos não considerassem a priori. Com o ressurgimento de novas técnicas de captura e analise de comportamentos, os etólogos transitaram para paradigmas mais objetivos, quantitativos da medição de comportamentos. Tais ferramentas analíticas fomentaram a construção de datasets comportamentais que, por sua vez, promoveram o desenvolvimento de softwares para a quantificação de comportamentos: rastreamento de trajetórias, classificação de ações, analise de padrões comportamentais em grandes escalas consistem nos exemplos mais preeminentes. Este trabalho encontra-se inserido na segunda categoria referida (classificação de ações). Os classificadores de ações dividem-se consoante são supervisionados ou não-supervisionados. A primeira categoria compreende classificadores treinados para reconhecer padrões específicos, definidos por um especialista humano. Esta categoria de classificadores e encontra-se limitada por: 1) necessitar de um processo extenuado de anotação de frames para treino do classificador; 2) subjetividade face ao especialista que classifica os mesmos frames, 3) baixa dimensionalidade, na medida em que a classificação reduz os complexos comportamentos a um só rotulo; 4) assunções erróneas; 5) preconceito humano face aos comportamentos observados. Por sua vez, os classificadores não-supervisionados seguem exaustivamente uma formula: 1) computer vision e empregue para a extração das características posturais do animal; 2) dá-se o pré-processamento dos dados, que inclui um modulo vital que envolve a construção de uma representação dinâmico-postural das ações do animal, de forma a capturar os elementos dinâmicos do comportamento; 3) segue-se um modulo opcional de redução de dimensionalidade, caso o utilizador deseje visualizar diretamente os dados num espaço de reduzidas dimensões; 4) efetua-se a atribuição de um rótulo a cada elemento dos dados, por via de um algoritmo que opera quer diretamente no espaço de alta dimensão, ou no de baixa dimensão, resultante do passo anterior. O objetivo deste trabalho passa por alcançar uma classificação objetiva e reproduzível, de forma não-supervisionada de frames de Drosophila melanogaster suspensas numa bola que flutua no ar, tentando minimizar o número de intuições requeridas para o efeito e, se possível, dissipar a influência dos aspetos morfológicos de cada individuo (garantindo assim uma classificação generalizada dos comportamentos destes insetos). Para alcançar tal classificação, este estudo recorre a uma ferramenta recém desenvolvida que regista a pose tridimensional de Drosophila fixas, o DeepFly3D, para construir um dataset com as coordenadas x-, y- e z-, ao longo do tempo, das posições de referência de um conjunto de três genótipos de Drosophila melanogaster (linhas aDN>CsChrimson, MDN-GAL4/+ e aDNGAL4/+). Sucede-se uma operação inovadora de normalização que recorre ao cálculo de ângulos entre pontos de referência adjacentes, como as articulações, antenas e riscas dorsais das moscas, por via de relações trigonométricas e a definição dos planos anatómicos das moscas, que visa atenuar os pesos das diferenças morfológicas das moscas, ou a sua orientação relativa as camaras do DeepFly3D, para o classificador. O modulo de normalização e sucedido por outro de analise de frequência, focado na extração das frequências relevantes nas series temporais dos ângulos calculados, bem como dos seus pesos relativos. O produto final do pré-processamento consiste numa matriz com a norma dos ditos pesos – a matriz de expressão do espaço dinâmico-postural. Subsequentemente, seguem-se os módulos de redução de dimensionalidade e de atribuição de clusters (pontos 3) e 4) do paragrafo anterior). Para os mesmos, são propostas seis configurações possíveis de algoritmos, submetidas de imediato a uma anélise comparativa, de forma a determinar a mais apta para classificar este tipo de dados. Os algoritmos de redução de dimensionalidade aqui postos a prova são o t-SNE (t-distributed Stochastic Neighbor Embedding) e o PCA (Principal Component Analysis), enquanto que os algoritmos de clustering comparados são o Watershed, GMM-posterior probability assignment e o HDBSCAN (Hierarchical Density Based Spatial Clustering of Applications with Noise). Cada uma das pipelines candidatas e finalmente avaliada mediante a observação dos vídeos inclusos nos clusters produzidos e, dado o vasto numero destes vídeos, bem como a possibilidade de uma validação subjetiva face a observadores distintos, com o auxilio de métricas que expressam determinados critérios abrangentes de qualidade dos clusters: 1) Fly uncompactness, que avalia a eficiência do modulo de normalização com ângulos de referencia da mosca; 2) Homogeneity, que procura garantir que os clusters não refletem a identidade ou o genótipo das moscas; 3) Cluster entropy, que afere a previsibilidade das transições entre os clusters; 4) Mean dwell time, que pondera o tempo que um individuo demora em media a realizar uma Acão. Dois critérios auxiliares extra são ainda considerados: o número de parâmetros que foram estimados pelo utilizador (quanto maior, mais limitada e a reprodutibilidade da pipeline) e o tempo de execução do algoritmo (que deve ser igualmente minimizado). Apesar de manter alguma subjetividade face aquilo a que o utilizador considera um “bom” cluster, a inclusão das métricas aproxima esta abordagem a um cenário ideal de completa autonomia entre a conceção de uma definição de comportamento, e a validação dos resultados que decorrem das suas conjeturas. Os desempenhos das pipelines candidatas divergiram largamente: os espaços resultantes das operações de redução de dimensionalidade demonstram-se heterogéneos e anisotrópicos, com a presença de sequências de pontos que tomam formas vermiformes, ao invés de um antecipado conglomerado de pontos desassociados. Estas trajetórias vermiformes limitam o desempenho dos algoritmos de clustering que operam nos espaços de baixas (duas, neste caso) dimensões. A ausência de um passo intermedio de amostragem do espaço dinâmico-postural explica a génese destas trajetórias vermiformes. Não obstante, as pipelines que praticam redução de dimensionalidade geraram melhores resultados que a pipeline que recorre a clustering com HDBSCAN diretamente sobre a matriz de expressão do espaço dinâmico-postural. A combinação mais fortuita de módulos de redução de dimensionalidade e clustering adveio da pipeline PCA30-t-SNE2-GMM. Embora não sejam absolutamente consistentes, os clusters resultantes desta pipeline incluem um comportamento que se sobressai face aos demais que se encontram inseridos no mesmo cluster (erroneamente). Lacunas destes clusters envolvem sobretudo a ocasional fusão de dois comportamentos distintos no mesmo cluster, ou a presença inoportuna de sequências de comportamentos nas quais a mosca se encontra imóvel (provavelmente o resultado de pequenos erros de deteção produzidos pelo DeepFly3D). Para mais, a pipeline PCA30-t-SNE2-GMM foi capaz de reconhecer diferenças no fenótipo comportamental de moscas, validadas pelas linhas genéticas das mesmas. Apesar dos resultados obtidos manifestarem visíveis melhorias face aqueles produzidos por abordagens semelhantes, sobretudo a nível de vídeos dos clusters, uma vez que só uma das abordagens inclui métricas de sucesso dos clusters, alguns aspetos desta abordagem requerem correções: a inclusão de uma etapa de amostragem, sucedida de um novo algoritmo que fosse capaz de realizar reduções de dimensionalidade consistentes, de forma a reunir todos os pontos no mesmo espaço embutido será possivelmente a característica mais capaz de acrescentar valor a esta abordagem. Futuras abordagens não deverão descurar o contributo de múltiplas representações comportamentais que possam vir a validar-se mutuamente, substituindo a necessidade de métricas de sucesso definidas pelos utilizadores.One of the preeminent challenges of Behavioral Neuroscience is the understanding of how the brain works and how it ultimately commands an animal’s behavior. Solving this brain-behavior linkage requires, on one end, precise, meaningful and coherent techniques for measuring behavior. Rapid technical developments in tools for collecting and analyzing behavioral data, paired with the immaturity of current approaches, motivate an ongoing search for systematic, unbiased behavioral classification techniques. To accomplish such a classification, this study employs a state-of-the-art tool for tracking 3D pose of tethered Drosophila, DeepFly3D, to collect a dataset of x-, y- and z- landmark positions over time, from tethered Drosophila melanogaster moving over an air-suspended ball. This is succeeded by unprecedented normalization across individual flies by computing the angles between adjoining landmarks, followed by standard wavelet analysis. Subsequently, six unsupervised behavior classification techniques are compared - four of which follow proven formulas, while the remaining two are experimental. Lastly, their performances are evaluated via meaningful metric scores along with cluster video assessment, as to ensure a fully unbiased cycle - from the conjecturing of a definition of behavior to the corroboration of the results that stem from its assumptions. Performances from different techniques varied significantly. Techniques that perform clustering in embedded low- (two-) dimensional spaces struggled with their heterogeneous and anisotropic nature. High-dimensional clustering techniques revealed that these properties emerged from the original highdimensional posture-dynamics spaces. Nonetheless, high and low-dimensional spaces disagree on the arrangement of their elements, with embedded data points showing hierarchical organization, which was lacking prior to their embedding. Low-dimensional clustering techniques were globally a better match against these spatial features and yielded more suitable results. Their candidate embedding algorithms alone were capable of revealing dissimilarities in preferred behaviors among contrasting genotypes of Drosophila. Lastly, the top-ranking classification technique produced satisfactory behavioral cluster videos (despite the irregular allocation of rest labels) in a consistent and repeatable manner, while requiring a marginal number of hand tuned parameters

Ensemble Methods for Anomaly Detection

Anomaly detection has many applications in numerous areas such as intrusion detection, fraud detection, and medical diagnosis. Most current techniques are specialized for detecting one type of anomaly, and work well on specific domains and when the data satisfies specific assumptions. We address this problem, proposing ensemble anomaly detection techniques that perform well in many applications, with four major contributions: using bootstrapping to better detect anomalies on multiple subsamples, sequential application of diverse detection algorithms, a novel adaptive sampling and learning algorithm in which the anomalies are iteratively examined, and improving the random forest algorithms for detecting anomalies in streaming data. We design and evaluate multiple ensemble strategies using score normalization, rank aggregation and majority voting, to combine the results from six well-known base algorithms. We propose a bootstrapping algorithm in which anomalies are evaluated from multiple subsets of the data. Results show that our independent ensemble performs better than the base algorithms, and using bootstrapping achieves competitive quality and faster runtime compared with existing works. We develop new sequential ensemble algorithms in which the second algorithm performs anomaly detection based on the first algorithm\u27s outputs; best results are obtained by combining algorithms that are substantially different. We propose a novel adaptive sampling algorithm which uses the score output of the base algorithm to determine the hard-to-detect examples, and iteratively resamples more points from such examples in a complete unsupervised context. On streaming datasets, we analyze the impact of parameters used in random trees, and propose new algorithms that work well with high-dimensional data, improving performance without increasing the number of trees or their heights. We show that further improvements can be obtained with an Evolutionary Algorithm

Localization and sensing applications in the Pushpin Computer Network

Thesis (M. Eng. and S.B.)--Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science, 2005.Includes bibliographical references (p. 117-124).The utility and purpose of a node in a wireless sensor network is intimately tied to the physical space in which it is distributed. As such, it is advantageous under most circumstances for a sensor node to know its position. In this work, we present two systems for localizing a network of roughly 60 sensor nodes distributed over an area of 1-m2. One is based on a linear lateration technique, while the second approach utilizes non-linear optimization techniques, namely spectral graph drawing and mesh relaxation. In both cases, localization is accomplished by generating distance constraints based on ultrasound time-of-flight measurements to distinct, global sensor stimuli. These distance constraints alone are sufficient to achieve localization; no a priori knowledge of sensor node coordinates or the coordinates of the global sensor events are required. Using this technique, we have achieved a localization error of 2.30-cm and an error standard deviation of 2.36-cm.by Michael Joseph Broxton.M.Eng.and S.B

Imitating Human Responses via a Dual-Process Model Approach

Human-autonomous system teaming is becoming more prevalent in the Air Force and in society. Often, the concept of a shared mental model is discussed as a means to enhance collaborative work arrangements between a human and an autonomous system. The idea being that when the models are aligned, the team is more productive due to an increase in trust, predictability, and apparent understanding. This research presents the Dual-Process Model using multivariate normal probability density functions (DPM-MN), which is a cognitive architecture algorithm based on the psychological dual-process theory. The dual-process theory proposes a bipartite decision-making process in people. It labels the intuitive mode as “System 1” and the reflective mode as “System 2”. The current research suggests by leveraging an agent which forms decisions based on a dual-process model, an agent in a human-machine team can maintain a better shared mental model with the user. Evaluation of DPM-MN in a game called Space Navigator shows that DPM-MN presents a successful dual-process theory motivated model

Modeling & Analysis of Design Parameters for Portable Hand Orthoses to Assist Upper Motor Neuron Syndrome Impairments and Prototype Design

Wearable assistive robotics have the potential to address an unmet medical need of reducing disability in individuals with chronic hand impairments due to neurological trauma. Despite myriad prior works, few patients have seen the benefits of such devices. Following application experience with tendon-actuated soft robotic gloves and a collaborator\u27s orthosis with novel flat-spring actuators, we identified two common assumptions regarding hand orthosis design. The first was reliance on incomplete studies of grasping forces during activities of daily living as a basis for design criteria, leading to poor optimization. The second was a neglect of increases in muscle tone following neurological trauma, rendering most devices non-applicable to a large subset of the population. To address these gaps, we measured joint torques during activities of daily living with able-bodied subjects using dexterity representative of orthosis-aided motion. Next, we measured assistive torques needed to extend the fingers of individuals with increased flexor tone following TBI. Finally, we applied this knowledge to design a cable actuated orthosis for assisting finger extension, providing a basis for future work focused on an under-represented subgroup of patients

Techniques for automatic large scale change analysis of temporal multispectral imagery

Change detection in remotely sensed imagery is a multi-faceted problem with a wide variety of desired solutions. Automatic change detection and analysis to assist in the coverage of large areas at high resolution is a popular area of research in the remote sensing community. Beyond basic change detection, the analysis of change is essential to provide results that positively impact an image analyst\u27s job when examining potentially changed areas. Present change detection algorithms are geared toward low resolution imagery, and require analyst input to provide anything more than a simple pixel level map of the magnitude of change that has occurred. One major problem with this approach is that change occurs in such large volume at small spatial scales that a simple change map is no longer useful. This research strives to create an algorithm based on a set of metrics that performs a large area search for change in high resolution multispectral image sequences and utilizes a variety of methods to identify different types of change. Rather than simply mapping the magnitude of any change in the scene, the goal of this research is to create a useful display of the different types of change in the image. The techniques presented in this dissertation are used to interpret large area images and provide useful information to an analyst about small regions that have undergone specific types of change while retaining image context to make further manual interpretation easier. This analyst cueing to reduce information overload in a large area search environment will have an impact in the areas of disaster recovery, search and rescue situations, and land use surveys among others. By utilizing a feature based approach founded on applying existing statistical methods and new and existing topological methods to high resolution temporal multispectral imagery, a novel change detection methodology is produced that can automatically provide useful information about the change occurring in large area and high resolution image sequences. The change detection and analysis algorithm developed could be adapted to many potential image change scenarios to perform automatic large scale analysis of change

PosturAll : a posture assessment software for children

Tese de Mestrado Integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica), 2022, Universidade de Lisboa, Faculdade de CiênciasOs problemas e distúrbios músculo-esqueléticos como a dor lombar, a dor cervical e a escoliose, são um frequente fator de perturbação da qualidade de vida e da atividade laboral com elevados custos diretos e indiretos. Em 2019, 37.3 % da população portuguesa reportou sofrerem de dores lombares ou outros problemas crónicos associados à dor nas costas, e 27.1% da população portuguesa afirmou ter dor na cervical ou outros problemas crónicos associados à dor no pescoço. Contudo, com uma deteção precoce durante a infância e adolescência, pode ser possível reduzir a sua incidência e impacto. Desde cedo, as crianças e adolescentes são expostas a estímulos e fatores de risco que podem levar ao desenvolvimento destes distúrbios músculo-esqueléticos. Alguns destes fatores de risco incluem ser se do género feminino, o aumento da idade, o sedentarismo ou a prática intensiva de exercício físico, o peso e modelo de mochila utilizada na escola, e os comportamentos posturais, como a postura adotada enquanto se está sentado na sala de aula ou sentado a ver televisão ou a jogar videojogos, ou a postura de flexão da cervical quando se utiliza o telemóvel. Para minimizar estes fatores de risco é importante a sensibilização da população para os problemas músculo-esqueléticos, por exemplo através de campanhas que promovam comportamentos saudáveis que as pessoas devem adotar desde jovens, bem como, implementar avaliações médicas regulares nas escolas para a deteção precoce dos distúrbios músculo-esqueléticos. Atualmente, existem diversos métodos de avaliação postural e de programas multidisciplinares de tratamento da dor, no entanto a maioria está acessível apenas a profissionais de saúde em meio clínico com custos elevados. Recentemente, têm começado a aparecer no mercado aplicações para telemóvel que incluem tratamento multidisciplinar da dor e que analisam de forma simplificada a postura da pessoa por um preço acessível. O objetivo desta dissertação é melhorar um software anteriormente desenvolvido por estudantes do mestrado integrado em engenharia biomédica e biofísica, e posteriormente testar a sua performance e validar os resultados obtidos com esse software usando uma população não-patológica. Com os dados adquiridos iremos num último passo analisar a performance de classificadores. Este software processa imagens de 4 vistas diferentes do paciente (vista anterior, posterior, lateral esquerda e direita), enquanto este utiliza diversos marcadores em locais anatómicos específicos. Com os marcadores, o software calcula diversos ângulos e comprimentos de segmentos corporais, que usa para obter um valor de indicador de risco para possíveis problemas e distúrbios da zona da lombar, cervical e escoliose. A realização deste projeto foi dividida em quatro fases. Primeiro, começámos por selecionar os marcadores e as métricas corporais a usar na avaliação postural, em conjunto com especialistas de fisioterapia e com base em literatura científica, do qual resultaram 29 marcadores e 38 parâmetros. Após esta seleção, modificámos o software para incluir o cálculo destes parâmetros. De seguida, acrescentámos a utilização de um retângulo de comprimento conhecido para se aferir a escala da imagem e um fio com um peso na ponta para se obter a linha vertical ao chão. Também modificámos a forma de deteção dos marcadores pelo software, tornando possível a deteção em imagens provenientes de diferentes tipos de câmaras, através do método blob detection. Na segunda fase, aferimos a performance do software e efetuámos testes de calibração. Nestes passos os marcadores foram colocados num manequim. Começámos por analisar o uso de marcadores de diferentes cores e tamanhos para percebermos quais os mais adequados. Os diferentes marcadores foram colocados em 4 sujeitos de alturas e volumes diferentes e com roupas de cores diferentes. Desta análise ficou definido a utilização de marcadores verdes de 20 mm de diâmetro, bem como a cor azul para o retângulo que permite obter a escala da imagem, e a cor vermelha para o fio usado para determinar a linha vertical ao chão. Após este passo, avaliámos a capacidade de o software detetar os marcadores verdes, o retângulo azul e o fio vermelho utilizando diferentes cores de fundo e com dois tipos de câmaras diferentes. Dos fundos usados foi possível detetar os marcadores e o retângulo em todos, no entanto, o fio vermelho não foi possível detetar quando o fundo utilizado era vermelho. Nos testes de calibração, verificámos a influência da utilização ou não de flash, da variação da distância da câmara aos marcadores, da variação da altura da câmara e da variação do tipo de câmara utilizada. Concluímos que a utilização ou não de flash é a variável que menos influenciou os resultados, que no geral houve maior variação dos valores obtidos quando utilizada uma câmara fotográfica face a uma câmara de telemóvel, e que os parâmetros anatómicos que utilizam o fio vermelho no seu cálculo tiveram maiores variações do que os parâmetros que usam o retângulo azul. O fio vermelho foi colocado num plano diferente dos marcadores levando a erros de paralaxe mais acentuados. No entanto, mesmo colocando o retângulo ao lado dos marcadores os erros de paralaxe não foram totalmente corrigidos, pois o volume do manequim faz com que os marcadores não fiquem todos no mesmo plano. Numa terceira fase, adquirimos dados de uma população de estudo composta por estudantes da Escola Superior de Saúde da Cruz Vermelha Portuguesa - Lisboa. Para comparação e validação dos resultados obtidos, as imagens capturadas de cada participante foram analisadas com o nosso software e com um software clínico comercial de análise postural, o software TemploÒ no sistema da Contemplas, GMHB. Os dados de ambos os softwares foram comparados através de testes de hipóteses de comparação de médias e testes de equivalência de médias. Para a maioria dos parâmetros anatómicos, observámos nos testes estatísticos de comparação que as diferenças entre médias não eram significativas, e nos testes de equivalência obtivemos um valor das diferenças das médias entre -0.05 e 0.05, ambos para uma confiança de 95%. Seguidamente, com base na avaliação postural feita pelo software clínico e por especialistas de fisioterapia, considerámos uma população composta por 16 sujeitos sem evidências de problemas posturais, 25 sujeitos que apresentavam evidências ligeiras e 16 sujeitos com evidências moderadas a acentuadas. Com os dados desta população avaliámos o desempenho de classificadores, em que implementámos os modelos Linear Discriminant Analysis e k-Nearest Neighbors, cada um com o método de validação divisão treino/teste e com o método de validação cruzada 10-fold. Inicialmente considerámos uma classificação multiclasse, e posteriormente uma classificação binária de dois níveis. O primeiro nível classifica os sujeitos entre sem evidências e com evidências de problemas posturais, e o segundo nível divide este segundo grupo em sujeitos com evidências ligeiras e sujeitos com evidências moderadas a acentuadas. No geral, a classificação binária apresentou melhores valores que a classificação multiclasse. Em ambos os níveis da classificação binária, os valores de f1- score foram mais altos para as classes compostas por um maior número de sujeitos, o que pode ser justificado por serem classes com mais dados para treinar o classificador. Adicionalmente, verificámos que obtivemos valores mais altos com o uso do método de validação divisão treino/teste do que com o método de validação cruzada 10-fold. Isto pode ser explicado pela base de dados ser composta por poucos participantes, em que cada fold tem no máximo dados de 6 participantes, podendo levar a uma má distribuição dos dados. Em projetos futuros, é necessário melhorar a forma de corrigir os erros de paralaxe inerentes à captura de imagens, possivelmente com a identificação do ponto de fuga da imagem, e, sabendo o campo de visão ou o tamanho do sensor, tornar menor a influência da utilização de diferentes tipos de câmara nos resultados. Além disso, no futuro, pode testar-se a utilização de um setup mais simplificado, juntando a função do retângulo azul e do fio vermelho num só objeto, por exemplo, um esquadro com um peso na ponta. Outro passo a realizar é tornar este software, que ainda está num modo offline, numa aplicação para telemóvel, que apenas armazene e processe os resultados da análise do paciente num servidor seguro, e que elimine automaticamente as suas imagens. Nesta dissertação, os participantes da população de estudo eram maiores de 18 anos, no entanto, é necessário testar o software numa população constituída por crianças e adolescentes para se começar a criar uma base de dados com valores de referência adaptados a essas idades, que são o público-alvo da aplicação. Em conjunto com este software, no futuro pretende-se desenvolver um kit de avaliação postural que é composto por uma mochila que contenha no seu interior um arnês ajustável de corpo inteiro com os marcadores costurados, o objeto necessário para a obtenção da escala da imagem e da linha vertical ao chão, e marcas para serem colocadas no chão para marcar a posição em que o sujeito e a câmara devem estar. O objetivo final é implementar a utilização deste kit em escolas e associações desportivas juvenis, incentivando a um rastreio desde cedo na vida das pessoas, permitindo uma diminuição da probabilidade do aparecimento de distúrbios musculoesqueléticos ou a progressão destes para um estado crónico na vida adulta.Musculoskeletal problems and disorders such as low back pain, neck pain and scoliosis are a frequent factor that disturbs quality of life and work activity with high direct and indirect costs. In 2019, 37.3% of the Portuguese population reported suffering from low back pain or other chronic problems associated with back pain, and 27.1% reported having cervical pain or other chronic problems associated with neck pain. However, with early detection during childhood and adolescence, it might be possible to reduce its incidence and impact. From an early age, children and adolescents are exposed to risk factors that can lead to the development of such musculoskeletal disorders. Some of those risk factors include being female, increasing age, physical inactivity or intensive physical exercise, the weight and type of backpack used at school, and postural behaviors, such as the posture adopted while sitting in the classroom or watching TV or playing video games, or the cervical flexion posture when using the cell phone. To minimize the impact of those factors, it is important to raise the population's awareness of musculoskeletal problems, for example through campaigns that promote healthy behaviors, or implementing routine medical evaluations in schools for an early detection of musculoskeletal disorders. Nowadays, there are several methods of postural assessment and multidisciplinary pain treatment programs, however most are accessible only to health professionals in high cost clinical environment. Recently, mobile applications started to appear on the market, which include multidisciplinary pain treatment and analyzes a person's posture. The aim of this dissertation is to improve a software developed by students of the Integrated Master in Biomedical and Biophysics at FCUL, and later to test its performance and validate the results obtained using a non-pathological population. In a last step, we will analyze the performance of classifiers with the acquired data. This software processes images from 4 different views of the patient (anterior, posterior, left and right lateral views), while the patient uses different markers at specific anatomical locations to obtain a risk indicator value for possible musculoskeletal problems and disorders. The methodology of this project was divided into four phases. First, with physiotherapy specialists and based on scientific literature, we select the markers and body metrics to be used in the postural assessment, resulting in 29 markers and 38 parameters. Then, we modified the software to include the calculation of these parameters. We also used a rectangle of known length to obtain the scale of the image and a string with a weight at the end to get the vertical line to the floor. Furthermore, we modified the way for detecting the markers by the software, making possible to detect them in images from different types of cameras, using the blob detection method. In the second phase, we evaluated the software’s performance and run calibration tests. We analyzed the use of markers of different colors and sizes to understand which ones were the most suitable. The different markers were placed on 4 subjects of different heights and volumes while wearing clothes with different colors. We choose the green markers with a diameter of 20 mm, and we defined blue for the rectangle to obtain the image scale, and red for the string to set the vertical line to the ground. Afterwards, we assessed the software's ability to detect the green markers, the blue rectangle and the red string using different background colors and with two different camera types. Of the backgrounds used, it was possible to detect the markers and the rectangle in all of them, except that, the red string was not detected in the red background. In the calibration tests, we verified the influence of the use or not of flash, the variation of the distance from the camera to the markers, the variation of the camera height and of the type of camera used. We concluded that the use of flash had the least influence in the results and in general there was a greater variation in the values obtained when using a photographic camera compared to a cell phone. Also, the anatomical parameters calculated using the red string had a greater variation than when using the blue rectangle. The red string was placed on a different plane from the markers leading to more pronounced parallax errors. Even placing the rectangle next to the markers, the parallax errors were not fully corrected, because the dress form has volume, so the markers are not all at the same plane. In a third phase, we acquired data from a study population composed of students from the Escola Superior de Saúde da Cruz Vermelha Portuguesa - Lisboa. To validate the results obtained, the images captured from each participant were analyzed with our software and with a commercial clinical software for postural analysis, the software TemploÒ in the system Contemplas, GMHB. The data from both software were compared using hypothesis tests of comparison of means and equivalence tests of means. For most anatomical parameters, we observed with the statistical test of comparison of means that the differences between means were not significant, and in the equivalence tests we obtained a value of the differences in the means between -0.05 and 0.05, both for a confidence level of 95%. Based on the postural assessment performed by clinical software and by physiotherapy specialists, we considered a population composed of 16 subjects with no evidence of postural problems, 25 subjects with mild evidence and 16 subjects with moderate to severe evidence. With the data collected, we evaluated the performance of classifiers by implementing the Linear Discriminant Analysis and k Nearest Neighbors models, each with the train/test split validation method and the 10-fold cross validation method. Initially, we considered a multiclass classification, and later a two-level binary classification. The first level classifies the subjects between with and without evidence of postural problems, the second level divides the subjects with evidence into with mild evidence and with moderate to strong evidence. In general, the binary classification presented better values than the multiclass one. At both levels of binary classification, the f1-score values were higher for the classes with a greater number of subjects, probably due to more data to train the classifier. Additionally, we obtained higher values using the train/test split validation method than using the 10-fold cross-validation method. This can be explained by the fact that each fold has a maximum of 6 participants, leading to an inefficient distribution of data. In future projects, it is necessary to improve the method to correct the parallax errors inherent to the images capture. For example, by identifying the vanishing point of the image, and, knowing the field of view or the size of the sensor, reduce the influence of using different types of cameras. Also, it can be tested using a simplified setup, by joining the function of the blue rectangle and the red thread in a single object. Another step is to turn this software, into a mobile application that only stores and processes the results of the patients on a secured server, and automatically deletes the images. In this dissertation, the study population were over 18 years old, however, it is necessary to test the software in a population composed of children and adolescents to start creating a database with reference values adapted to those ages, which are the target audience of the application. In the future, we intend, with this software, to develop an assessment kit that will be a backpack containing inside an adjustable full-body harness with the markers sewn on, the object necessary to obtain the scale from the image and the vertical line to the floor, and marks to be placed on the floor to define the position where the subject and the camera should be. The goal is to implement the use of this kit in schools and sports associations, encouraging a screening from an early age, allowing a decrease in the probability of the musculoskeletal disorders or their progression to a chronic state in adult life

Curve Skeleton and Moments of Area Supported Beam Parametrization in Multi-Objective Compliance Structural Optimization

This work addresses the end-to-end virtual automation of structural optimization up to the derivation of a parametric geometry model that can be used for application areas such as additive manufacturing or the verification of the structural optimization result with the finite element method. A holistic design in structural optimization can be achieved with the weighted sum method, which can be automatically parameterized with curve skeletonization and cross-section regression to virtually verify the result and control the local size for additive manufacturing. is investigated in general. In this paper, a holistic design is understood as a design that considers various compliances as an objective function. This parameterization uses the automated determination of beam parameters by so-called curve skeletonization with subsequent cross-section shape parameter estimation based on moments of area, especially for multi-objective optimized shapes. An essential contribution is the linking of the parameterization with the results of the structural optimization, e.g., to include properties such as boundary conditions, load conditions, sensitivities or even density variables in the curve skeleton parameterization. The parameterization focuses on guiding the skeletonization based on the information provided by the optimization and the finite element model. In addition, the cross-section detection considers circular, elliptical, and tensor product spline cross-sections that can be applied to various shape descriptors such as convolutional surfaces, subdivision surfaces, or constructive solid geometry. The shape parameters of these cross-sections are estimated using stiffness distributions, moments of area of 2D images, and convolutional neural networks with a tailored loss function to moments of area. Each final geometry is designed by extruding the cross-section along the appropriate curve segment of the beam and joining it to other beams by using only unification operations. The focus of multi-objective structural optimization considering 1D, 2D and 3D elements is on cases that can be modeled using equations by the Poisson equation and linear elasticity. This enables the development of designs in application areas such as thermal conduction, electrostatics, magnetostatics, potential flow, linear elasticity and diffusion, which can be optimized in combination or individually. Due to the simplicity of the cases defined by the Poisson equation, no experts are required, so that many conceptual designs can be generated and reconstructed by ordinary users with little effort. Specifically for 1D elements, a element stiffness matrices for tensor product spline cross-sections are derived, which can be used to optimize a variety of lattice structures and automatically convert them into free-form surfaces. For 2D elements, non-local trigonometric interpolation functions are used, which should significantly increase interpretability of the density distribution. To further improve the optimization, a parameter-free mesh deformation is embedded so that the compliances can be further reduced by locally shifting the node positions. Finally, the proposed end-to-end optimization and parameterization is applied to verify a linear elasto-static optimization result for and to satisfy local size constraint for the manufacturing with selective laser melting of a heat transfer optimization result for a heat sink of a CPU. For the elasto-static case, the parameterization is adjusted until a certain criterion (displacement) is satisfied, while for the heat transfer case, the manufacturing constraints are satisfied by automatically changing the local size with the proposed parameterization. This heat sink is then manufactured without manual adjustment and experimentally validated to limit the temperature of a CPU to a certain level.:TABLE OF CONTENT III I LIST OF ABBREVIATIONS V II LIST OF SYMBOLS V III LIST OF FIGURES XIII IV LIST OF TABLES XVIII 1. INTRODUCTION 1 1.1 RESEARCH DESIGN AND MOTIVATION 6 1.2 RESEARCH THESES AND CHAPTER OVERVIEW 9 2. PRELIMINARIES OF TOPOLOGY OPTIMIZATION 12 2.1 MATERIAL INTERPOLATION 16 2.2 TOPOLOGY OPTIMIZATION WITH PARAMETER-FREE SHAPE OPTIMIZATION 17 2.3 MULTI-OBJECTIVE TOPOLOGY OPTIMIZATION WITH THE WEIGHTED SUM METHOD 18 3. SIMULTANEOUS SIZE, TOPOLOGY AND PARAMETER-FREE SHAPE OPTIMIZATION OF WIREFRAMES WITH B-SPLINE CROSS-SECTIONS 21 3.1 FUNDAMENTALS IN WIREFRAME OPTIMIZATION 22 3.2 SIZE AND TOPOLOGY OPTIMIZATION WITH PERIODIC B-SPLINE CROSS-SECTIONS 27 3.3 PARAMETER-FREE SHAPE OPTIMIZATION EMBEDDED IN SIZE OPTIMIZATION 32 3.4 WEIGHTED SUM SIZE AND TOPOLOGY OPTIMIZATION 36 3.5 CROSS-SECTION COMPARISON 39 4. NON-LOCAL TRIGONOMETRIC INTERPOLATION IN TOPOLOGY OPTIMIZATION 41 4.1 FUNDAMENTALS IN MATERIAL INTERPOLATIONS 43 4.2 NON-LOCAL TRIGONOMETRIC SHAPE FUNCTIONS 45 4.3 NON-LOCAL PARAMETER-FREE SHAPE OPTIMIZATION WITH TRIGONOMETRIC SHAPE FUNCTIONS 49 4.4 NON-LOCAL AND PARAMETER-FREE MULTI-OBJECTIVE TOPOLOGY OPTIMIZATION 54 5. FUNDAMENTALS IN SKELETON GUIDED SHAPE PARAMETRIZATION IN TOPOLOGY OPTIMIZATION 58 5.1 SKELETONIZATION IN TOPOLOGY OPTIMIZATION 61 5.2 CROSS-SECTION RECOGNITION FOR IMAGES 66 5.3 SUBDIVISION SURFACES 67 5.4 CONVOLUTIONAL SURFACES WITH META BALL KERNEL 71 5.5 CONSTRUCTIVE SOLID GEOMETRY 73 6. CURVE SKELETON GUIDED BEAM PARAMETRIZATION OF TOPOLOGY OPTIMIZATION RESULTS 75 6.1 FUNDAMENTALS IN SKELETON SUPPORTED RECONSTRUCTION 76 6.2 SUBDIVISION SURFACE PARAMETRIZATION WITH PERIODIC B-SPLINE CROSS-SECTIONS 78 6.3 CURVE SKELETONIZATION TAILORED TO TOPOLOGY OPTIMIZATION WITH PRE-PROCESSING 82 6.4 SURFACE RECONSTRUCTION USING LOCAL STIFFNESS DISTRIBUTION 86 7. CROSS-SECTION SHAPE PARAMETRIZATION FOR PERIODIC B-SPLINES 96 7.1 PRELIMINARIES IN B-SPLINE CONTROL GRID ESTIMATION 97 7.2 CROSS-SECTION EXTRACTION OF 2D IMAGES 101 7.3 TENSOR SPLINE PARAMETRIZATION WITH MOMENTS OF AREA 105 7.4 B-SPLINE PARAMETRIZATION WITH MOMENTS OF AREA GUIDED CONVOLUTIONAL NEURAL NETWORK 110 8. FULLY AUTOMATED COMPLIANCE OPTIMIZATION AND CURVE-SKELETON PARAMETRIZATION FOR A CPU HEAT SINK WITH SIZE CONTROL FOR SLM 115 8.1 AUTOMATED 1D THERMAL COMPLIANCE MINIMIZATION, CONSTRAINED SURFACE RECONSTRUCTION AND ADDITIVE MANUFACTURING 118 8.2 AUTOMATED 2D THERMAL COMPLIANCE MINIMIZATION, CONSTRAINT SURFACE RECONSTRUCTION AND ADDITIVE MANUFACTURING 120 8.3 USING THE HEAT SINK PROTOTYPES COOLING A CPU 123 9. CONCLUSION 127 10. OUTLOOK 131 LITERATURE 133 APPENDIX 147 A PREVIOUS STUDIES 147 B CROSS-SECTION PROPERTIES 149 C CASE STUDIES FOR THE CROSS-SECTION PARAMETRIZATION 155 D EXPERIMENTAL SETUP 15