Representation Learning: A Review and New Perspectives

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning

Application of general semi-infinite Programming to Lapidary Cutting Problems

We consider a volume maximization problem arising in gemstone cutting industry. The problem is formulated as a general semi-infinite program (GSIP) and solved using an interiorpoint method developed by Stein. It is shown, that the convexity assumption needed for the convergence of the algorithm can be satisfied by appropriate modelling. Clustering techniques are used to reduce the number of container constraints, which is necessary to make the subproblems practically tractable. An iterative process consisting of GSIP optimization and adaptive refinement steps is then employed to obtain an optimal solution which is also feasible for the original problem. Some numerical results based on realworld data are also presented

Study of random porous morphologies by means of statistical analysis and computer simulations of fluid dynamics

This thesis presents an investigation of porous media by means of simulation techniques and morphological analysis. As a basis for the investigation throughout this work, we use three- dimensional (3D) images of porous structures obtained by imaging techniques, in particular, fo- cused ion beam scanning electron microscopy (FIB-SEM) and confocal laser scanning microscopy (CLSM) for macroporous space, and scanning transmission electron microscopy (STEM) to re- solve mesopores. A set of different morphological methods (chord length distribution (CLD), medial axis analysis (MAA), estimations of geometric, branch and diffusive tortuosities) are applied to capture averaged descriptors of the reconstructed porous samples. Because fluid dy- namics is inherent in many applications of porous media, several techniques are deployed to simulate the fluid dynamics in the reconstructions of porous media. This work includes four chapters that cover three different topics associated with the investigation of fluid dynamics in porous media. Each chapter also represents a separate journal publication. In the first chapter, we perform hydrodynamic dispersion simulations to study the morphology- flow relationship in physical reconstructions of particulate beds as well as in computer-generated packings of monosized spheres. A combination of lattice-Boltzmann and random-walk parti- cle tracking (RWPT) methods were utilized to simulate the flow and mass transport, respec- tively. Based on mean chord length μ and standard deviation σ estimated for CLD, we present a morphological descriptor, σ/μ, that can predict the longitudinal dispersion coefficient for any morphological configuration of packed beds. In the second chapter, we introduce the overall hindrance factor expression, H(λ), that de- scribes transport limitations in mesoporous space of random silica monoliths in dependence of λ, the ratio of solute size to mean pore size. The presented H(λ) is obtained through diffusion simulations of finite-size tracers applying the RWPT technique in three reconstructions of mor- phologically similar porous silica. The expression can also be utilized to assess the hindered diffusion coefficient for any material with similar morphology. In the third chapter, we adopt the lattice-gas mean field density functional theory (MFDFT) to virtually reproduce adsorption/desorption processes in a mesopore network of one of the monoliths from the second chapter. We demonstrate a good qualitative agreement of simulated boundary curves with experimental isotherms with an H2 hysteresis loop obtained for nitrogen at 77 K. We also use 3D images of the phase distribution that can be provided by MFDFT for any relative pressure value in the range 0 < p/p0 ≤ 1 to reveal the relation between hysteresis and phase distribution. In the fourth chapter, we continue using the concept of exploration of phase distribution and perform MFDFT modeling in physically reconstructed geometrical models of two ordered (SBA-15, KIT-6) and one random mesoporous silicas. We conduct a short parametric study of the MFDFT model to find optimal agreement with experimental isotherms in the hysteresis region. We also present simulated boundary curves for both ordered structures with a clear H1 hysteresis loop and for the disordered material with type H2(a) hysteresis. The phase distribution analysis as well as the shape of scanning curves reveal a highly heterogeneous morphology of the random silica. Hence, pore blocking and cavitation phenomena are identified and analyzed

Lattice-gas cellular automata for the analysis of cancer invasion

Cancer cells display characteristic traits acquired in a step-wise manner during carcinogenesis. Some of these traits are autonomous growth, induction of angiogenesis, invasion and metastasis. In this thesis, the focus is on one of the latest stages of tumor progression, tumor invasion. Tumor invasion emerges from the combined effect of tumor cell-cell and cell-microenvironment interactions, which can be studied with the help of mathematical analysis. Cellular automata (CA) can be viewed as simple models of self-organizing complex systems in which collective behavior can emerge out of an ensemble of many interacting &amp;quot;simple&amp;quot; components. In particular, we focus on an important class of CA, the so-called lattice-gas cellular automata (LGCA). In contrast to traditional CA, LGCA provide a straightforward and intuitive implementation of particle transport and interactions. Additionally, the structure of LGCA facilitates the mathematical analysis of their behavior. Here, the principal tools of mathematical analysis of LGCA are the mean-field approximation and the corresponding Lattice Boltzmann equation. The main objective of this thesis is to investigate important aspects of tumor invasion, under the microscope of mathematical modeling and analysis: Impact of the tumor environment: We introduce a LGCA as a microscopic model of tumor cell migration together with a mathematical description of different tumor environments. We study the impact of the various tumor environments (such as extracellular matrix) on tumor cell migration by estimating the tumor cell dispersion speed for a given environment. Effect of tumor cell proliferation and migration: We study the effect of tumor cell proliferation and migration on the tumor’s invasive behavior by developing a simplified LGCA model of tumor growth. In particular, we derive the corresponding macroscopic dynamics and we calculate the tumor’s invasion speed in terms of tumor cell proliferation and migration rates. Moreover, we calculate the width of the invasive zone, where the majority of mitotic activity is concentrated, and it is found to be proportional to the invasion speed. Mechanisms of tumor invasion emergence: We investigate the mechanisms for the emergence of tumor invasion in the course of cancer progression. We conclude that the response of a microscopic intracellular mechanism (migration/proliferation dichotomy) to oxygen shortage, i.e. hypoxia, maybe responsible for the transition from a benign (proliferative) to a malignant (invasive) tumor. Computing in vivo tumor invasion: Finally, we propose an evolutionary algorithm that estimates the parameters of a tumor growth LGCA model based on time-series of patient medical data (in particular Magnetic Resonance and Diffusion Tensor Imaging data). These parameters may allow to reproduce clinically relevant tumor growth scenarios for a specific patient, providing a prediction of the tumor growth at a later time stage.Krebszellen zeigen charakteristische Merkmale, die sie in einem schrittweisen Vorgang während der Karzinogenese erworben haben. Einige dieser Merkmale sind autonomes Wachstum, die Induktion von Angiogenese, Invasion und Metastasis. Der Schwerpunkt dieser Arbeit liegt auf der Tumorinvasion, einer der letzten Phasen der Tumorprogression. Die Tumorinvasion ensteht aus der kombinierten Wirkung von den Wechselwirkungen Tumorzelle-Zelle und Zelle-Mikroumgebung, die mit die Hilfe von mathematischer Analyse untersucht werden können. Zelluläre Automaten (CA) können als einfache Modelle von selbst-organisierenden komplexen Systemen betrachtet werden, in denen kollektives Verhalten aus einer Kombination von vielen interagierenden &amp;quot;einfachen&amp;quot; Komponenten entstehen kann. Insbesondere konzentrieren wir uns auf eine wichtige CA-Klasse, die sogenannten Zelluläre Gitter-Gas Automaten (LGCA). Im Gegensatz zu traditionellen CA bieten LGCA eine einfache und intuitive Umsetzung der Teilchen und Wechselwirkungen. Zusätzlich erleichtert die Struktur der LGCA die mathematische Analyse ihres Verhaltens. Die wichtigsten Werkzeuge der mathematischen Analyse der LGCA sind hier die Mean-field Approximation und die entsprechende Lattice - Boltzmann - Gleichung. Das wichtigste Ziel dieser Arbeit ist es, wichtige Aspekte der Tumorinvasion unter dem Mikroskop der mathematischen Modellierung und Analyse zu erforschen: Auswirkungen der Tumorumgebung: Wir stellen einen LGCA als mikroskopisches Modell der Tumorzellen-Migration in Verbindung mit einer mathematischen Beschreibung der verschiedenen Tumorumgebungen vor. Wir untersuchen die Auswirkungen der verschiedenen Tumorumgebungen (z. B. extrazellulären Matrix) auf die Migration von Tumorzellen dürch Schätzung der Tumorzellen-Dispersionsgeschwindigkeit in einem gegebenen Umfeld. Wirkung von Tumor-Zellenproliferation und Migration: Wir untersuchen die Wirkung von Tumorzellenproliferation und Migration auf das invasive Verhalten der Tumorzellen durch die Entwicklung eines vereinfachten LGCA Tumorwachstumsmodells. Wir leiten die entsprechende makroskopische Dynamik und berechnen die Tumorinvasionsgeschwindigkeit im Hinblick auf die Tumorzellenproliferation- und Migrationswerte. Darüber hinaus berechnen wir die Breite der invasiven Zone, wo die Mehrheit der mitotischer Aktivität konzentriert ist, und es wird festgestellt, dass diese proportional zu den Invasionsgeschwindigkeit ist. Mechanismen der Tumorinvasion Entstehung: Wir untersuchen Mechanismen, die für die Entstehung von Tumorinvasion im Verlauf des Krebs zuständig sind. Wir kommen zu dem Schluss, dass die Reaktion eines mikroskopischen intrazellulären Mechanismus (Migration/Proliferation Dichotomie) zu Sauerstoffmangel, d.h. Hypoxie, möglicheweise für den Übergang von einem gutartigen (proliferative) zu einer bösartigen (invasive) Tumor verantwortlich ist. Berechnung der in-vivo Tumorinvasion: Schließlich schlagen wir einen evolutionären Algorithmus vor, der die Parameter eines LGCA Modells von Tumorwachstum auf der Grundlage von medizinischen Daten des Patienten für mehrere Zeitpunkte (insbesondere die Magnet-Resonanz-und Diffusion Tensor Imaging Daten) ermöglicht. Diese Parameter erlauben Szenarien für einen klinisch relevanten Tumorwachstum für einen bestimmten Patienten zu reproduzieren, die eine Vorhersage des Tumorwachstums zu einem späteren Zeitpunkt möglich machen

Lattice Boltzmann Methods for Turbulent Flows – Application to Coriolis Mass Flowmeter

Komplexe Strömungsphänomene machen es schwierig Ingenieursanwendungen so detailliert und genau zu simulieren, dass eine Charakterisierung und Verbesserung ihres Funktionsprinzips möglich ist. Diese Arbeit zeigt, dass die Lattice-Boltzmann-Methode (LBM) sehr gut für diesen Zweck geeignet ist. Im Vordergrund stehen hierbei die Simulation und Modellierung von turbulenten Strömungen. Diese lassen sich auf Grund der hervorragenden Parallelisierbarkeit der LBM mit Large-eddy Simulationen an Stelle von Reynolds-gemittelten Navier--Stokes Modellen, die im industriellen Umfeld üblich sind, berechnen. Somit können komplexe transiente turbulente Strömungen simulativ untersucht werden. Die daraus gewonnenen Erkenntnisse dienen insbesondere der Auslegung und Optimierung von Bauteilen und Prozessen. Alle beschriebenen LBM Simulationen werden mit der Open Source Software OpenLB durchgeführt. Dazu wird OpenLB erweitert, um eine Validierung von implementierten Turbulenzmodellen mittels kanonischer Strömungsformen zu ermöglichen. Des Weiteren wird ein Framework für die Simulation von Fluid-Struktur Interaktion (FSI) geschaffen. Anfangs werden die Kollisionsoperatoren Bhatnagar--Gross--Krook (BGK), Entropic Lattice Boltzmann (ELB), Two-Relaxation-Time (TRT), Regularized Lattice Boltzmann (RLB) und Multiple-Relaxation-Time (MRT) in der Taylor-Green Vortex Strömung, einem klassischen Beispiel für abklingende homogene isotrope Turbulenz (DHIT), untersucht. Hierbei liegt der Fokus auf Stabilität, Konsistenz und Genauigkeit der verwendeten Schemata. Die Studie beinhaltet den Vergleich der turbulenten kinetischen Energie, der Dissipationsrate der Energie und dem Energiespektrum zu einer Referenzlösung. Drei unterschiedliche Reynoldszahlen, $\mathrm{Re}=800$, $\mathrm{Re}=1600$ und $\mathrm{Re}=3000$, werden sowohl unter Verwendung einer akustischen als auch einer diffusiven Skalierung betrachtet, um den Einfluss der Lattice Machzahl zu charakterisieren. In stark unteraufgelösten Gitterkonfigurationen zeigt das BGK Schema ein instabiles Verhalten. Divergierende Simulationen unter der Verwendung des MRT Schemas sind auf eine starke Abhängigkeit von der Lattice Machzahl zurückzuführen. Obwohl ELB die Viskosität verändert, kann kein Verhalten, das einem Wirbelviskositätsmodell entspricht, gefunden werden. Bei geringen Lattice Machzahlen zeigt das RLB Schema sehr geringe Energielevel bei hohen Wellenzahlen. Der ,,magic parameter" des TRT Schemas wird bestimmt im Hinblick auf den Energieeintrag. Trotzdem wird keine erhöhte Stabilität im Vergleich zum BGK Schema festgestellt. Insgesamt sollte die Lattice Machzahl bezüglich des verwendeten Kollisonsschemas gewählt werden, um die Stabilität zu gewährleisten und die Genauigkeit zu verbessern. Für die Realisierung eines wandmodellierten Large-Eddy Simulation (NWM-LES) Ansatzes wird der BGK Kollisionsoperator ausgewählt. Das Smagorinsky Wirbelviskositätsmodell kommt hierbei zum Einsatz und wird in der turbulenten Grenzschicht mit der van Driest\u27schen Dämpfungsfunktion verwendet. Der Einfluss verschiedener Implementierungen von Geschwindigkeitsrandbedingungen und Wandfunktionen wird in einer biperiodischen, voll ausgebildeten turbulenten Kanalströmung für Schubspannungs-Reynoldszahlen von $\mathrm{Re}_\tau=1000$, $\mathrm{Re}_\tau=2000$ und $\mathrm{Re}_\tau=5200$ untersucht. Die Validierung erfolgt mittels Daten einer direkten numerischen Simulation (DNS) für Turbulenzstatistiken erster und zweiter Ordnung. Die Anwendung dieses Ansatzes auf einen Coriolis Massendurchflussmesser (CMF) zeigt, dass der Druckverlust bis zu einer Reynoldszahl $\mathrm{Re}=127800$ beschrieben werden kann. Des Weiteren wird der entwickelte NWM-LES LBM Ansatz mit OpenFOAM, einer Open Source Implementierung der finititen Volumen Methode (FVM) für komplexe turbulente Strömungen, die relevant für Verbrennungsmotoren sind, verglichen. Der zuvor entwickelte und validierte LBM Ansatz wird mit einer Geschwindigkeitsrandbedingung für gekrümmte Ränder erweitert. Die Ergebnisse beider Strömungslöser werden mit Daten eines Particle Image Velocimetry (PIV) Experiments verglichen. Die Validierung umfasst sowohl die zeitgemittelten als auch die quadratisch gemittelten (RMS) Geschwindigkeitsfelder. Zusätzlich wird sowohl die Laufzeit der Simulation als auch die Dauer der unterschiedlichen Gittergenerierungsprozesse bestimmt. Die Performanceanalyse der getesteten Konfiguration zeigt, dass OpenLB 32-mal schneller ist als OpenFOAM. Folglich ist der entwickelte NWM-LES LBM Ansatz dazu in der Lage, komplexe turbulente Strömungen in einer Ingenieursanwendung akkurat und mit einem verringerten Rechenaufwand zu beschreiben. Wirbel induzierte Vibrationen (VIV) sind ein weiterer wichtiger Anwendungsfall für Ingenieursapplikationen. Für die Untersuchung dieser werden verschiedene Fluid-Struktur Ansätze für LBM implementiert, verglichen und evaluiert. Die zwei untersuchten Klassen sind die Moving Boundary Methods (MBM) und die Partially Saturated Methods (PSM). Als erstes wird die Galiläische Invarianz von aerodynamischen Koeffizienten für die einzelnen Schemata untersucht. Dazu wird das BGK Schema verwendet, um einen exzentrisch positionierten Zylinder in einer Couette Strömung zu simulieren. Überdies werden verschiedene Volumenapproximationsmethoden für PSM und Auffüllmechanismen für MBM verglichen. Sowohl die Gitterkonvergenz als auch die Konvergenz der Galiläischen Invarianz werden betrachtet. Die Studie der VIV-Phänomene umfasst einen transvers oszillierenden Zylinder in einem Freistrom bei einer Reynoldszahl von $\mathrm{Re}=100$. Dabei werden freie und erzwungene Oszillation betrachtet, um bekannte Phänomene, wie Lock-in und Lock-out Zonen, zu untersuchen. Die Ergebnisse zeigen, dass sowohl MBM als auch PSM eine gute Übereinstimmung zu Literaturdaten aufweisen, womit die Eignung für VIV-Simulationen bestätigt werden kann. Schließlich wird ein Fluid-Struktur Interaktionsansatz unter der Verwendung eines MBM Ansatzes für die Simulation eines CMFs realisiert. Hierbei wird OpenLB mit Elmer, einer Open Source Implementierung der Finite-Elemente-Methode, gekoppelt, um auch die Strukturdynamik zu beschreiben. Ein gestaffelter Kopplungsansatz zwischen den beiden Softwarepaketen wird präsentiert. Das Finite-Elemente-Gitter wird durch das Gittergenerierungstool Gmsh erstellt, um einen kompletten Open Source Workflow zu garantieren. Zunächst werden die Eigenmoden des CMFs berechnet und mit Messdaten verglichen. Die daraus bestimmte Anregungsfrequenz wird zur Bestimmung des Phasenshifts in einer partitionierten voll gekoppelten FSI Simulation verwendet. Der berechnete Phasenshift zeigt eine gute Übereinstimmung mit den Messdaten und bestätigt, dass dieses Modell in der Lage ist, das Funktionsprinzip eines CMFs zu beschreiben. Die durchgeführten Studien zeigen das große Potential der LBM für die Simulation von Ingenieursapplikationen, insbesondere wenn turbulente Strömungen betrachtet werden

Efficient algorithms for the realistic simulation of fluids

Nowadays there is great demand for realistic simulations in the computer graphics field. Physically-based animations are commonly used, and one of the more complex problems in this field is fluid simulation, more so if real-time applications are the goal. Videogames, in particular, resort to different techniques that, in order to represent fluids, just simulate the consequence and not the cause, using procedural or parametric methods and often discriminating the physical solution. This need motivates the present thesis, the interactive simulation of free-surface flows, usually liquids, which are the feature of interest in most common applications. Due to the complexity of fluid simulation, in order to achieve real-time framerates, we have resorted to use the high parallelism provided by actual consumer-level GPUs. The simulation algorithm, the Lattice Boltzmann Method, has been chosen accordingly due to its efficiency and the direct mapping to the hardware architecture because of its local operations. We have created two free-surface simulations in the GPU: one fully in 3D and another restricted only to the upper surface of a big bulk of fluid, limiting the simulation domain to 2D. We have extended the latter to track dry regions and is also coupled with obstacles in a geometry-independent fashion. As it is restricted to 2D, the simulation loses some features due to the impossibility of simulating vertical separation of the fluid. To account for this we have coupled the surface simulation to a generic particle system with breaking wave conditions; the simulations are totally independent and only the coupling binds the LBM with the chosen particle system. Furthermore, the visualization of both systems is also done in a realistic way within the interactive framerates; raycasting techniques are used to provide the expected light-related effects as refractions, reflections and caustics. Other techniques that improve the overall detail are also applied as low-level detail ripples and surface foam