Mechanical MNIST: A benchmark dataset for mechanical metamodels

Metamodels, or models of models, map defined model inputs to defined model outputs. Typically, metamodels are constructed by generating a dataset through sampling a direct model and training a machine learning algorithm to predict a limited number of model outputs from varying model inputs. When metamodels are constructed to be computationally cheap, they are an invaluable tool for applications ranging from topology optimization, to uncertainty quantification, to multi-scale simulation. By nature, a given metamodel will be tailored to a specific dataset. However, the most pragmatic metamodel type and structure will often be general to larger classes of problems. At present, the most pragmatic metamodel selection for dealing with mechanical data has not been thoroughly explored. Drawing inspiration from the benchmark datasets available to the computer vision research community, we introduce a benchmark data set (Mechanical MNIST) for constructing metamodels of heterogeneous material undergoing large deformation. We then show examples of how our benchmark dataset can be used, and establish baseline metamodel performance. Because our dataset is readily available, it will enable the direct quantitative comparison between different metamodeling approaches in a pragmatic manner. We anticipate that it will enable the broader community of researchers to develop improved metamodeling techniques for mechanical data that will surpass the baseline performance that we show here.Accepted manuscrip

Neural operator learning of heterogeneous mechanobiological insults contributing to aortic aneurysms

[EN] Thoracic aortic aneurysm (TAA) is a localized dilatation of the aorta that can lead to life-threatening dissection or rupture. In vivo assessments of TAA progression are largely limited to measurements of aneurysm size and growth rate. There is promise, however, that computational modelling of the evolving biomechanics of the aorta could predict future geometry and properties from initiating mechanobiological insults. We present an integrated framework to train a deep operator network (DeepONet)-based surrogate model to identify TAA contributing factors using synthetic finite-element-based datasets. For training, we employ a constrained mixture model of aortic growth and remodelling to generate maps of local aortic dilatation and distensibility for multiple TAA risk factors. We evaluate the performance of the surrogate model for insult distributions varying from fusiform (analytically defined) to complex (randomly generated). We propose two frameworks, one trained on sparse information and one on full-field greyscale images, to gain insight into a preferred neural operator-based approach. We show that this continuous learning approach can predict the patient-specific insult profile associated with any given dilatation and distensibility map with high accuracy, particularly when based on full-field images. Our findings demonstrate the feasibility of applying DeepONet to support transfer learning of patient-specific inputs to predict TAA progression.This work was supported by the National Institutes of Health (grant nos. P01 HL134605 and U01 HL142518)Goswami, S.; Li, DS.; Rego, BV.; Latorre, M.; Humphrey, JD.; Karniadakis, GE. (2022). Neural operator learning of heterogeneous mechanobiological insults contributing to aortic aneurysms. Journal of The Royal Society Interface. 19(193):1-16. https://doi.org/10.1098/rsif.2022.04101161919

Deep learning-based surrogate model for 3-D patient-specific computational fluid dynamics

Optimization and uncertainty quantification have been playing an increasingly important role in computational hemodynamics. However, existing methods based on principled modeling and classic numerical techniques have faced significant challenges, particularly when it comes to complex 3D patient-specific shapes in the real world. First, it is notoriously challenging to parameterize the input space of arbitrarily complex 3-D geometries. Second, the process often involves massive forward simulations, which are extremely computationally demanding or even infeasible. We propose a novel deep learning surrogate modeling solution to address these challenges and enable rapid hemodynamic predictions. Specifically, a statistical generative model for 3-D patient-specific shapes is developed based on a small set of baseline patient-specific geometries. An unsupervised shape correspondence solution is used to enable geometric morphing and scalable shape synthesis statistically. Moreover, a simulation routine is developed for automatic data generation by automatic meshing, boundary setting, simulation, and post-processing. An efficient supervised learning solution is proposed to map the geometric inputs to the hemodynamics predictions in latent spaces. Numerical studies on aortic flows are conducted to demonstrate the effectiveness and merit of the proposed techniques.Comment: 8 figures, 2 table

Generative Hyperelasticity with Physics-Informed Probabilistic Diffusion Fields

Many natural materials exhibit highly complex, nonlinear, anisotropic, and heterogeneous mechanical properties. Recently, it has been demonstrated that data-driven strain energy functions possess the flexibility to capture the behavior of these complex materials with high accuracy while satisfying physics-based constraints. However, most of these approaches disregard the uncertainty in the estimates and the spatial heterogeneity of these materials. In this work, we leverage recent advances in generative models to address these issues. We use as building block neural ordinary equations (NODE) that -- by construction -- create polyconvex strain energy functions, a key property of realistic hyperelastic material models. We combine this approach with probabilistic diffusion models to generate new samples of strain energy functions. This technique allows us to sample a vector of Gaussian white noise and translate it to NODE parameters thereby representing plausible strain energy functions. We extend our approach to spatially correlated diffusion resulting in heterogeneous material properties for arbitrary geometries. We extensively test our method with synthetic and experimental data on biological tissues and run finite element simulations with various degrees of spatial heterogeneity. We believe this approach is a major step forward including uncertainty in predictive, data-driven models of hyperelasticityComment: 22 pages, 11 figure

Design of a comprehensive modeling, characterization, rupture risk assessment and visualization pipeline for Abdominal Aortic Aneurysms

Abdominal aortic aneurysms (AAA) is a dilation of the abdominal aorta, typically within the infra-renal segment of the vessel that cause an expansion of at least 1.5 times the normal vessel diameter. It is becoming a leading cause of death in the United States and around the world, and consequentially, in 2009, the Society for Vascular Surgery (SVS) practice guidelines expressed the critical need to further investigate the factors associated with the risk of AAA rupture, along with potential treatment methods. For decades, the maximum diameter (Dmax) was introduced as the main parameter used to assess AAA behavior and its rupture risk. However, it has been shown that three main categories of parameters including geometrical indices, such as the maximum transverse diameter, biomechanical parameters, such as material properties, and historical clinical parameters, such as age, gender, hereditary history and life-style affect AAA and its rupture risk. Therefore, despite all efforts that have been undertaken to study the relationship among different parameters affecting AAA and its rupture, there are still limitations that require further investigation and modeling; the challenges associated with the traditional, clinical quality images represent one class of these limitations. The other limitation is the use of the homogenous hyper-elastic material property model to study the entire AAA, when, in fact, there is evidence that different degrees of degradation of the elastin and collagen network of the AAA wall lead to different regions of the AAA exhibiting different material properties, which, in turn, affect its biomechanical behavior and rupture. Moreover, the effects of all three main categories of parameters need to be considered simultaneously and collectively when studying the AAAs and their rupture, so once again, the field can further benefit from such studies. Therefore, in this work, we describe a comprehensive pipeline consisting of three main components to overcome some of these existing limitations. The first component of the proposed method focuses on the reconstruction and analysis of both synthetic and human subject-specific 3D models of AAA, accompanied by a full geometric parameter analysis and their effects on wall stress and peak wall stress. The second component investigates the effect of various biomechanical parameters, specifically the use of various homogeneous and heterogeneous material properties to model the behavior of the AAA wall. To this extent, we introduce two different patient-specific regional material property models to better mimic the physiological behavior of the AAA wall. Finally, the third component utilizes machine learning methods to develop a comprehensive predictive model that incorporates the effect of the geometrical, biomechanical and historical clinical data to predict the rupture severity of AAA in a patient-specific manner. This is the first comprehensive semi-automated method developed for the assessment of AAA. Our findings illustrate that using a regional material property model that mimics the realistic heterogeneity of the vessel’s wall leads to more reliable and accurate predictions of AAA severity and associated rupture risk. Additionally, our results indicate that using only Dmax as an indicator for the rupture risk is insufficient, while a combination of parameters from different sources along with PWS could serve as a more reliable rupture assessment. These methods can help better characterize the severity of AAAs, better predict their associated rupture risk, and, in turn, help clinicians with earlier, patient-customized diagnosis and patient-customized treatment planning approaches, such as stent grafting

Wearable Sensors and Machine Learning based Human Movement Analysis – Applications in Sports and Medicine

Die Analyse menschlicher Bewegung außerhalb des Labors unter realen Bedingungen ist in den letzten Jahren sowohl in sportlichen als auch in medizinischen Anwendungen zunehmend bedeutender geworden. Mobile Sensoren, welche am Körper getragen werden, haben sich in diesem Zusammenhang als wertvolle Messinstrumente etabliert. Auf Grund des Umfangs, der Komplexität, der Heterogenität und der Störanfälligkeit der Daten werden vielseitige Analysemethoden eingesetzt, um die Daten zu verarbeiten und auszuwerten. Zudem sind häufig Modellierungsansätze notwendig, da die gemessenen Größen nicht auf direktem Weg aussagekräftige biomechanische Variablen liefern. Seit wenigen Jahren haben sich hierfür Methoden des maschinellen Lernens als vielversprechende Instrumente zur Ermittlung von Zielvariablen, wie beispielsweise der Gelenkwinkel, herausgestellt. Aktuell befindet sich die Forschung an der Schnittstelle aus Biomechanik, mobiler Sensoren und maschinellem Lernen noch am Anfang. Der Bereich birgt grundsätzlich ein erhebliches Potenzial, um einerseits das Spektrum an mobilen Anwendungen im Sport, insbesondere in Sportarten mit komplexen Bewegungsanforderungen, wie beispielsweise dem Eishockey, zu erweitern. Andererseits können Methoden des maschinellen Lernens zur Abschätzung von Belastungen auf Körperstrukturen mittels mobiler Sensordaten genutzt werden. Vor allem die Anwendung mobiler Sensoren in Kombination mit Prädiktionsmodellen zur Ermittlung der Kniegelenkbelastung, wie beispielsweise der Gelenkmomente, wurde bisher nur unzureichend erforscht. Gleichwohl kommt der mobilen Erfassung von Gelenkbelastungen in der Diagnostik und Rehabilitation von Verletzungen sowie Muskel-Skelett-Erkrankungen eine zentrale Bedeutung zu. Das übergeordnete Ziel dieser Dissertation ist es, festzustellen inwieweit tragbare Sensoren und Verfahren des maschinellen Lernens zur Quantifizierung sportlicher Bewegungsmerkmale sowie zur Ermittlung der Belastung von Körperstrukturen bei der Ausführung von Alltags- und Sportbewegungen eingesetzt werden können. Die Dissertation basiert auf vier Studien, welche in internationalen Fachzeitschriften mit Peer-Review-Prozess erschienen sind. Die ersten beiden Studien konzentrieren sich zum einen auf die automatisierte Erkennung von zeitlichen Events und zum anderen auf die mobile Leistungsanalyse während des Schlittschuhlaufens im Eishockey. Die beiden weiteren Studien präsentieren jeweils einen neuartigen Ansatz zur Schätzung von Belastungen im Kniegelenk mittels künstlich neuronalen Netzen. Zwei mobile Sensoren, welche in eine Kniebandage integriert sind, dienen hierbei als Datenbasis zur Ermittlung von Kniegelenkskräften während unterschiedlicher Sportbewegungen sowie von Kniegelenksmomenten während verschiedener Lokomotionsaufgaben. Studie I zeigt eine präzise, effiziente und einfache Methode zur zeitlichen Analyse des Schlittschuhlaufens im Eishockey mittels einem am Schlittschuh befestigten Beschleunigungssensor. Die Validierung des neuartigen Ansatzes erfolgt anhand synchroner Messungen des plantaren Fußdrucks. Der mittlere Unterschied zwischen den beiden Erfassungsmethoden liegt sowohl für die Standphasendauer als auch der Gangzyklusdauer unter einer Millisekunde. Studie II zeigt das Potenzial von Beschleunigungssensoren zur Technik- und Leistungsanalyse des Schlittschuhlaufens im Eishockey. Die Ergebnisse zeigen für die Standphasendauer und Schrittintensität sowohl Unterschiede zwischen beschleunigenden Schritten und Schritten bei konstanter Geschwindigkeit als auch zwischen Teilnehmern unterschiedlichen Leistungsniveaus. Eine Korrelationsanalyse offenbart, insbesondere für die Schrittintensität, einen starken Zusammenhang mit der sportlichen Leistung des Schlittschuhlaufens im Sinne einer verkürzten Sprintzeit. Studie III präsentiert ein tragbares System zur Erfassung von Belastungen im Kniegelenk bei verschiedenen sportlichen Bewegungen auf Basis zweier mobiler Sensoren. Im Speziellen werden unterschiedliche lineare Bewegungen, Richtungswechsel und Sprünge betrachtet. Die mittels künstlich neuronalem Netz ermittelten dreidimensionalen Kniegelenkskräfte zeigen, mit Ausnahme der mediolateralen Kraftkomponente, für die meisten analysierten Bewegungen eine gute Übereinstimmung mit invers-dynamisch berechneten Referenzdaten. Die abschließende Studie IV stellt eine Erweiterung des in Studie III entwickelten tragbaren Systems zur Ermittlung von Belastungen im Kniegelenk dar. Die ambulante Beurteilung der Gelenkbelastung bei Kniearthrose steht hierbei im Fokus. Die entwickelten Prädiktionsmodelle zeigen für das Knieflexionsmoment eine gute Übereinstimmung mit invers-dynamisch berechneten Referenzdaten für den Großteil der analysierten Bewegungen. Demgegenüber ist bei der Ermittlung des Knieadduktionsmoments mittels künstlichen neuronalen Netzen Vorsicht geboten. Je nach Bewegung, kommt es zu einer schwachen bis starken Übereinstimmung zwischen der mittels Prädiktionsmodell bestimmten Belastung und dem Referenzwert. Zusammenfassend tragen die Ergebnisse von Studie I und Studie II zur sportartspezifischen Leistungsanalyse im Eishockey bei. Zukünftig können sowohl die Trainingsqualität als auch die gezielte Verbesserung sportlicher Leistung durch den Einsatz von am Körper getragener Sensoren in hohem Maße profitieren. Die methodischen Neuerungen und Erkenntnisse aus Studie III und Studie IV ebnen den Weg für die Entwicklung neuartiger Technologien im Gesundheitsbereich. Mit Blick in die Zukunft können mobile Sensoren zur intelligenten Analyse menschlicher Bewegungen sinnvoll eingesetzt werden. Die vorliegende Dissertation zeigt, dass die mobile Bewegungsanalyse zur Erleichterung der sportartspezifischen Leistungsdiagnostik unter Feldbedingungen beiträgt. Zudem zeigt die Arbeit, dass die mobile Bewegungsanalyse einen wichtigen Beitrag zur Verbesserung der Gesundheitsdiagnostik und Rehabilitation nach akuten Verletzungen oder bei chronischen muskuloskelettalen Erkrankungen leistet