949 research outputs found

    20th SC@RUG 2023 proceedings 2022-2023

    Get PDF

    Data-driven deep-learning methods for the accelerated simulation of Eulerian fluid dynamics

    Get PDF
    Deep-learning (DL) methods for the fast inference of the temporal evolution of fluid-dynamics systems, based on the previous recognition of features underlying large sets of fluid-dynamics data, have been studied. Specifically, models based on convolution neural networks (CNNs) and graph neural networks (GNNs) were proposed and discussed. A U-Net, a popular fully-convolutional architecture, was trained to infer wave dynamics on liquid surfaces surrounded by walls, given as input the system state at previous time-points. A term for penalising the error of the spatial derivatives was added to the loss function, which resulted in a suppression of spurious oscillations and a more accurate location and length of the predicted wavefronts. This model proved to accurately generalise to complex wall geometries not seen during training. As opposed to the image data-structures processed by CNNs, graphs offer higher freedom on how data is organised and processed. This motivated the use of graphs to represent the state of fluid-dynamic systems discretised by unstructured sets of nodes, and GNNs to process such graphs. Graphs have enabled more accurate representations of curvilinear geometries and higher resolution placement exclusively in areas where physics is more challenging to resolve. Two novel GNN architectures were designed for fluid-dynamics inference: the MuS-GNN, a multi-scale GNN, and the REMuS-GNN, a rotation-equivariant multi-scale GNN. Both architectures work by repeatedly passing messages from each node to its nearest nodes in the graph. Additionally, lower-resolutions graphs, with a reduced number of nodes, are defined from the original graph, and messages are also passed from finer to coarser graphs and vice-versa. The low-resolution graphs allowed for efficiently capturing physics encompassing a range of lengthscales. Advection and fluid flow, modelled by the incompressible Navier-Stokes equations, were the two types of problems used to assess the proposed GNNs. Whereas a single-scale GNN was sufficient to achieve high generalisation accuracy in advection simulations, flow simulation highly benefited from an increasing number of low-resolution graphs. The generalisation and long-term accuracy of these simulations were further improved by the REMuS-GNN architecture, which processes the system state independently of the orientation of the coordinate system thanks to a rotation-invariant representation and carefully designed components. To the best of the author’s knowledge, the REMuS-GNN architecture was the first rotation-equivariant and multi-scale GNN. The simulations were accelerated between one (in a CPU) and three (in a GPU) orders of magnitude with respect to a CPU-based numerical solver. Additionally, the parallelisation of multi-scale GNNs resulted in a close-to-linear speedup with the number of CPU cores or GPUs.Open Acces

    20th SC@RUG 2023 proceedings 2022-2023

    Get PDF

    Development and application of new machine learning models for the study of colorectal cancer

    Get PDF
    En la actualidad, en el ámbito sanitario, hay un interés creciente en la consideración de técnicas de Inteligencia Artificial, en concreto técnicas de Aprendizaje Automático o Machine Learning, que tan buenos resultados están proporcionando desde hace tiempo en diferentes ámbitos, como la industria, el comercio electrónico, la educación, etc. Sin embargo, en el ámbito de la sanidad hay un reto aún mayor ya que, además de necesitar sistemas muy probados, puesto que sus resultados van a repercutir directamente en la salud de las personas, también es necesario alcanzar un buen equilibrio en cuanto a interpretabilidad. Esto es de gran importancia ya que, actualmente, con métodos de caja negra, que pueden llegar a ser muy precisos, es difícil saber qué motivó que el sistema automático tomara una decisión y no otra. Esto puede generar rechazo entre los profesionales sanitarios debido a la inseguridad que pueden llegar a sentir por no poder explicar una decisión clínica tomada en base a un sistema de apoyo a la toma de decisiones. En este contexto, desde el primer momento establecimos que la interpretabilidad de los resultados debía ser una de las premisas que gobernara transversalmente todo el trabajo que se desarrollara en esta tesis doctoral. En este sentido, todos los desarrollos realizados generan bien árboles de clasificación (los cuales dan lugar a reglas interpretables) o bien reglas de asociación que describen relaciones entre los datos existentes. Por otro lado, el cáncer colorrectal es una neoplasia maligna con una alta morbimortalidad tanto en hombres como en mujeres. Esta requiere, indiscutiblemente, de una atención multidisciplinar en la que diferentes profesionales sanitarios (médicos de familia, gastroenterólogos, radiólogos, cirujanos, oncólogos, farmacéuticos, personal de enfermería, etc.) realicen un abordaje conjunto de la patología para ofrecer la mejor atención posible al paciente. Pero además, en adelante, sería muy interesante incorporar a científicos de datos en ese equipo multidisciplinar, ya que se puede sacar un gran partido a toda la información que se genera diariamente sobre esta patología. En esta tesis doctoral se ha planteado, precisamente, el estudio de un conjunto de datos de pacientes con cáncer colorrectal con un un conjunto de técnicas de inteligencia artificial y el desarrollo de nuevos modelos de aprendizaje automático para el mismo. Los resultados han sido los que se exponen a continuación: Una revisión bibliográfica sobre el uso de Machine Learning aplicado a cáncer colorrectal, a partir de la cual se ha realizado una taxonomía de los trabajos existentes a fecha de realización del estudio del estado del arte. Esta taxonomía clasifica los diferentes trabajos estudiados atendiendo a diferentes criterios como son el tipo de dataset utilizado, el tipo de algoritmo implementado, el tamaño del dataset y su disponibilidad pública, el uso o no de algoritmos de selección de características y el uso o no de técnicas de extracción de características. Un modelo de extracción de reglas de asociación de clases con la intención de entender mejor por qué algunos pacientes podrían sufrir complicaciones tras una intervención quirúrgica o recidivas de su cáncer. Este trabajo ha dado lugar a una metodología para la obtención de descripciones interpretables y manejables (es importante que las reglas generadas tengan un tamaño reducido de manera que así sea útil para los sanitarios). Un modelo de selección de características y de instancias para poder inducir mejores árboles de clasificación. Un algoritmo de Evolución Gramatical para inducir una gran variedad de árboles de clasificación tan precisos como los obtenidos por los conocidos métodos C4.5 y CART. En este caso, se ha utilizado la librería PonyGE2 de Python y, debido a su escasa especificidad para aplicación a nuestro problema, se han desarrollado una serie de operadores que permiten inducir árboles más interpretables en comparación con los que produce PonyGE2 de forma estándar. Los resultados obtenidos en cada uno de los desarrollos realizados se han comparado con los resultados proporcionados por métodos existentes en la literatura y de reconocido prestigio, tanto del campo de la clasificación como del campo de la minería de reglas de asociación, demostrándose una mejor adaptación de nuestros modelos a las características que presentaba el conjunto de datos de estudio, y que pueden ser de aplicación a otros casos.Today, in healthcare, there is a growing interest in considering Artificial Intelligence techniques, specifically Machine Learning techniques, which have been providing good results in different fields such as industry, e‑commerce, education, etc., since a long time ago. However, in the field of healthcare there is an even greater challenge because it is needed both highly tested systems, since their results will have a direct impact on people's health, and a good level in terms of interpretability. This is very important since with black box methods, which can be very precise, it will be dificult to know what motivated the automatic system to take one decision or any other. This fact can generate rejection among healthcare professionals due to the insecurity they may feel because they cannot explain a clinical decision taken on the basis of a decision support system. In this context, from the very begining we established that the interpretability of the results should be one of the premises leading all the work carried out in this doctoral thesis. In this sense, all the developments carried out generate either classification trees (which produce interpretable rules) or association rules that describe relationships between existing data. On the other hand, colorectal cancer is a malignant neoplasia with a high morbidity and mortality rate in both men and women, which unquestionably requires multidisciplinary care in which different healthcare professionals (family doctors, gastroenterologists, radiologists, surgeons, oncologists, pharmacists, nursing staff, etc.) take a joint approach to the pathology in order to offer the best possible care to the patient. But it would also be very interesting to incorporate data scientists into this multidisciplinary team in the future, as they can make the most of all the information that is generated on this pathology daily. In this doctoral thesis, it has been proposed the study of a dataset of patients with colorectal cancer with a set of artificial intelligence techniques and the development of new machine learning models for it. The results are shown below: A literature review on the use of Machine Learning applied to colorectal cancer, from which a taxonomy of the existing works has been produced. This taxonomy classifies the different works of the state‑of‑the‑arte according to different criterio such as the type of dataset that has been used, the type of algorithm that has been implemented, the size of the dataset and its public availability, the use or not of feature selection algorithms and the use or not of feature extraction techniques. A class association rule extraction model with the intention of better understanding why some patients might experience complications after surgery or recurrence of their cancer. This work has given rise to a methodology for obtaining interpretable and manageable descriptions (it is important that the generated rules have a reduced size so that they are useful for practitioners). A feature and instance selection model to induce better classification trees. A Grammatical Evolution algorithm to induce a wide variety of classification trees as accurate as those obtained by the well‑known C4.5 and CART methods. In this case, the PonyGE2 Python library has been used and, due to its low specificity for application to our problem, a series of operators have been developed, which allow inducing more interpretable trees compared to those produced by PonyGE2 in a standard way. The results obtained in each of the developments carried out have been compared with the results provided by well known methods existing in the literature, both in the field of classification and in the field of association rule mining, demonstrating a better fit of our models to the features of the dataset, which can be applied to other cases. great efficiency in our models. This demonstrates that it is possible to reach a good balance between precision and interpretability

    Deep Multimodality Image-Guided System for Assisting Neurosurgery

    Get PDF
    Intrakranielle Hirntumoren gehören zu den zehn häufigsten bösartigen Krebsarten und sind für eine erhebliche Morbidität und Mortalität verantwortlich. Die größte histologische Kategorie der primären Hirntumoren sind die Gliome, die ein äußerst heterogenes Erschei-nungsbild aufweisen und radiologisch schwer von anderen Hirnläsionen zu unterscheiden sind. Die Neurochirurgie ist meist die Standardbehandlung für neu diagnostizierte Gliom-Patienten und kann von einer Strahlentherapie und einer adjuvanten Temozolomid-Chemotherapie gefolgt werden. Die Hirntumorchirurgie steht jedoch vor großen Herausforderungen, wenn es darum geht, eine maximale Tumorentfernung zu erreichen und gleichzeitig postoperative neurologische Defizite zu vermeiden. Zwei dieser neurochirurgischen Herausforderungen werden im Folgenden vorgestellt. Erstens ist die manuelle Abgrenzung des Glioms einschließlich seiner Unterregionen aufgrund seines infiltrativen Charakters und des Vorhandenseins einer heterogenen Kontrastverstärkung schwierig. Zweitens verformt das Gehirn seine Form ̶ die so genannte "Hirnverschiebung" ̶ als Reaktion auf chirurgische Manipulationen, Schwellungen durch osmotische Medikamente und Anästhesie, was den Nutzen präopera-tiver Bilddaten für die Steuerung des Eingriffs einschränkt. Bildgesteuerte Systeme bieten Ärzten einen unschätzbaren Einblick in anatomische oder pathologische Ziele auf der Grundlage moderner Bildgebungsmodalitäten wie Magnetreso-nanztomographie (MRT) und Ultraschall (US). Bei den bildgesteuerten Instrumenten handelt es sich hauptsächlich um computergestützte Systeme, die mit Hilfe von Computer-Vision-Methoden die Durchführung perioperativer chirurgischer Eingriffe erleichtern. Die Chirurgen müssen jedoch immer noch den Operationsplan aus präoperativen Bildern gedanklich mit Echtzeitinformationen zusammenführen, während sie die chirurgischen Instrumente im Körper manipulieren und die Zielerreichung überwachen. Daher war die Notwendigkeit einer Bildführung während neurochirurgischer Eingriffe schon immer ein wichtiges Anliegen der Ärzte. Ziel dieser Forschungsarbeit ist die Entwicklung eines neuartigen Systems für die peri-operative bildgeführte Neurochirurgie (IGN), nämlich DeepIGN, mit dem die erwarteten Ergebnisse der Hirntumorchirurgie erzielt werden können, wodurch die Gesamtüberle-bensrate maximiert und die postoperative neurologische Morbidität minimiert wird. Im Rahmen dieser Arbeit werden zunächst neuartige Methoden für die Kernbestandteile des DeepIGN-Systems der Hirntumor-Segmentierung im MRT und der multimodalen präope-rativen MRT zur intraoperativen US-Bildregistrierung (iUS) unter Verwendung der jüngs-ten Entwicklungen im Deep Learning vorgeschlagen. Anschließend wird die Ergebnisvor-hersage der verwendeten Deep-Learning-Netze weiter interpretiert und untersucht, indem für den Menschen verständliche, erklärbare Karten erstellt werden. Schließlich wurden Open-Source-Pakete entwickelt und in weithin anerkannte Software integriert, die für die Integration von Informationen aus Tracking-Systemen, die Bildvisualisierung und -fusion sowie die Anzeige von Echtzeit-Updates der Instrumente in Bezug auf den Patientenbe-reich zuständig ist. Die Komponenten von DeepIGN wurden im Labor validiert und in einem simulierten Operationssaal evaluiert. Für das Segmentierungsmodul erreichte DeepSeg, ein generisches entkoppeltes Deep-Learning-Framework für die automatische Abgrenzung von Gliomen in der MRT des Gehirns, eine Genauigkeit von 0,84 in Bezug auf den Würfelkoeffizienten für das Bruttotumorvolumen. Leistungsverbesserungen wurden bei der Anwendung fort-schrittlicher Deep-Learning-Ansätze wie 3D-Faltungen über alle Schichten, regionenbasier-tes Training, fliegende Datenerweiterungstechniken und Ensemble-Methoden beobachtet. Um Hirnverschiebungen zu kompensieren, wird ein automatisierter, schneller und genauer deformierbarer Ansatz, iRegNet, für die Registrierung präoperativer MRT zu iUS-Volumen als Teil des multimodalen Registrierungsmoduls vorgeschlagen. Es wurden umfangreiche Experimente mit zwei Multi-Location-Datenbanken durchgeführt: BITE und RESECT. Zwei erfahrene Neurochirurgen führten eine zusätzliche qualitative Validierung dieser Studie durch, indem sie MRT-iUS-Paare vor und nach der deformierbaren Registrierung überlagerten. Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene iRegNet schnell ist und die besten Genauigkeiten erreicht. Darüber hinaus kann das vorgeschlagene iRegNet selbst bei nicht trainierten Bildern konkurrenzfähige Ergebnisse liefern, was seine Allgemeingültigkeit unter Beweis stellt und daher für die intraoperative neurochirurgische Führung von Nutzen sein kann. Für das Modul "Erklärbarkeit" wird das NeuroXAI-Framework vorgeschlagen, um das Vertrauen medizinischer Experten in die Anwendung von KI-Techniken und tiefen neuro-nalen Netzen zu erhöhen. Die NeuroXAI umfasst sieben Erklärungsmethoden, die Visuali-sierungskarten bereitstellen, um tiefe Lernmodelle transparent zu machen. Die experimen-tellen Ergebnisse zeigen, dass der vorgeschlagene XAI-Rahmen eine gute Leistung bei der Extraktion lokaler und globaler Kontexte sowie bei der Erstellung erklärbarer Salienzkar-ten erzielt, um die Vorhersage des tiefen Netzwerks zu verstehen. Darüber hinaus werden Visualisierungskarten erstellt, um den Informationsfluss in den internen Schichten des Encoder-Decoder-Netzwerks zu erkennen und den Beitrag der MRI-Modalitäten zur end-gültigen Vorhersage zu verstehen. Der Erklärungsprozess könnte medizinischen Fachleu-ten zusätzliche Informationen über die Ergebnisse der Tumorsegmentierung liefern und somit helfen zu verstehen, wie das Deep-Learning-Modell MRT-Daten erfolgreich verar-beiten kann. Außerdem wurde ein interaktives neurochirurgisches Display für die Eingriffsführung entwickelt, das die verfügbare kommerzielle Hardware wie iUS-Navigationsgeräte und Instrumentenverfolgungssysteme unterstützt. Das klinische Umfeld und die technischen Anforderungen des integrierten multimodalen DeepIGN-Systems wurden mit der Fähigkeit zur Integration von (1) präoperativen MRT-Daten und zugehörigen 3D-Volumenrekonstruktionen, (2) Echtzeit-iUS-Daten und (3) positioneller Instrumentenver-folgung geschaffen. Die Genauigkeit dieses Systems wurde anhand eines benutzerdefi-nierten Agar-Phantom-Modells getestet, und sein Einsatz in einem vorklinischen Operati-onssaal wurde simuliert. Die Ergebnisse der klinischen Simulation bestätigten, dass die Montage des Systems einfach ist, in einer klinisch akzeptablen Zeit von 15 Minuten durchgeführt werden kann und mit einer klinisch akzeptablen Genauigkeit erfolgt. In dieser Arbeit wurde ein multimodales IGN-System entwickelt, das die jüngsten Fort-schritte im Bereich des Deep Learning nutzt, um Neurochirurgen präzise zu führen und prä- und intraoperative Patientenbilddaten sowie interventionelle Geräte in das chirurgi-sche Verfahren einzubeziehen. DeepIGN wurde als Open-Source-Forschungssoftware entwickelt, um die Forschung auf diesem Gebiet zu beschleunigen, die gemeinsame Nut-zung durch mehrere Forschungsgruppen zu erleichtern und eine kontinuierliche Weiter-entwicklung durch die Gemeinschaft zu ermöglichen. Die experimentellen Ergebnisse sind sehr vielversprechend für die Anwendung von Deep-Learning-Modellen zur Unterstützung interventioneller Verfahren - ein entscheidender Schritt zur Verbesserung der chirurgi-schen Behandlung von Hirntumoren und der entsprechenden langfristigen postoperativen Ergebnisse

    Optical and hyperspectral image analysis for image-guided surgery

    Get PDF

    Hemodynamic Quantifications By Contrast-Enhanced Ultrasound:From In-Vitro Modelling To Clinical Validation

    Get PDF

    Advanced Characterization and On-Line Process Monitoring of Additively Manufactured Materials and Components

    Get PDF
    This reprint is concerned with the microstructural characterization and the defect analysis of metallic additively manufactured (AM) materials and parts. Special attention is paid to the determination of residual stress in such parts and to online monitoring techniques devised to predict the appearance of defects. Finally, several non-destructive testing techniques are employed to assess the quality of AM materials and parts

    Upsampling Indoor LiDAR Point Clouds for Object Detection

    Get PDF
    As an emerging technology, LiDAR point cloud has been applied in a wide range of fields. With the ability to recognize and localize the objects in a scene, point cloud object detection has numerous applications. However, low-density LiDAR point clouds would degrade the object detection results. Complete, dense, clean, and uniform LiDAR point clouds can only be captured by high-precision sensors which need high budgets. Therefore, point cloud upsampling is necessary to derive a dense, complete, and uniform point cloud from a noisy, sparse, and non-uniform one. To address this challenge, we proposed a methodology of utilizing point cloud upsam pling methods to enhance the object detection results of low-density point clouds in this thesis. Specifically, we conduct three point cloud upsampling methods, including PU-Net, 3PU, and PU-GCN, on two datasets, which are a dataset we collected on our own in an underground parking lot located at Highland Square, Kitchener, Canada, and SUN-RGBD. We adopt VoteNet as the object detection network. We subsampled the datasets to get a low-density dataset to stimulate the point cloud captured by the low-budget sensors. We evaluated the proposed methodology on two datasets, which are SUN RGB-D and the collected underground parking lot dataset. PU-Net, 3PU, and PU-GCN increase the mean Average Precision (under the threshold of 0.25) by 18.8%,18.0%, and 18.7% on the underground parking lot dataset and 9.8%, 7.2%, and 9.7% on SUN RGB-D
    corecore