3,104 research outputs found
Neural networks in geophysical applications
Neural networks are increasingly popular in geophysics.
Because they are universal approximators, these
tools can approximate any continuous function with an
arbitrary precision. Hence, they may yield important
contributions to finding solutions to a variety of geophysical applications.
However, knowledge of many methods and techniques
recently developed to increase the performance
and to facilitate the use of neural networks does not seem
to be widespread in the geophysical community. Therefore,
the power of these tools has not yet been explored to
their full extent. In this paper, techniques are described
for faster training, better overall performance, i.e., generalization,and the automatic estimation of network size
and architecture
Tied factor analysis for face recognition across large pose differences
Face recognition algorithms perform very unreliably when the pose of the probe face is different from the gallery face: typical feature vectors vary more with pose than with identity. We propose a generative model that creates a one-to-many mapping from an idealized âidentityâ space to the observed data space. In identity space, the representation for each individual does not vary with pose. We model the measured feature vector as being generated by a pose-contingent linear transformation of the identity variable in the presence of Gaussian noise. We term this model âtiedâ factor analysis. The choice of linear transformation (factors) depends on the pose, but the loadings are constant (tied) for a given individual. We use the EM algorithm to estimate the linear transformations and the noise parameters from training data.
We propose a probabilistic distance metric that allows a full posterior over possible matches to be established. We introduce a novel feature extraction process and investigate recognition performance by using the FERET, XM2VTS, and PIE databases. Recognition performance compares favorably with contemporary approaches
Pattern recognition in spaces of probability distributions for the analysis of edge-localized modes in tokamak plasmas
Magnetically confined fusion plasmas provide several data analysis challenges due to the occurrence of massive data sets, substantial measurement uncertainty, stochasticity and data dimensionality, and often nonlinear interactions between measured quantities. Recently, methods from the fields of machine learning and probability theory - some standard, some more advanced - have come to play an increasingly important role in analyzing data from fusion experiments. The capabilities offered by such methods to efficiently extract, possibly in real time, additional information from the data that is not immediately apparent to human experts, has attracted attention from an increasing number of researchers. In addition, innovative methods for real-time data processing can play an important role in plasma control, in order to ensure safe and reliable operation of the machine.
Pattern recognition is a discipline within the information sciences that concerns the exploration of structure in (multidimensional) data sets using computer-based methods and algorithms.
In this doctoral work, pattern recognition techniques are developed and applied to data from tokamak plasmas, in order to contribute to a systematic analysis of edge-localized modes (ELMs). ELMs are magnetohydrodynamic (MHD) instabilities occurring in the edge region of high-confinement (H-mode) fusion plasmas. The type I ELMy H-mode is the reference scenario for operation of the next-step fusion device ITER. On the one hand, ELMs have a beneficial effect on plasma operation through their role in impurity control. On the other hand, ELMs eject energy and particles from the plasma and, in ITER, large unmitigated ELMs are expected to cause intolerable heat loads on the plasma-facing components (PFCs).
In interpreting experiments focused on ELM understanding and control, a significant challenge lies in handling the measurement uncertainties and the inherent stochasticity of ELM properties. In this work, we employ probabilistic models (distributions) for a quantitative data description geared towards an enhanced systematization of ELM phenomenology. Hence, we start from the point of view that the fundamental object resulting from the observation of a system is a probability distribution, with every single measurement providing a sample from this distribution. We argue that, particularly for richly stochastic phenomena like ELMs, the probability distribution of physical quantities contain significantly more information compared to mere averages. Consequently, in exploring the patterns emerging from the various ELM regimes and relations, we need methods that can handle the intrinsic probabilistic nature of the data.
The original contributions of this work are twofold. First, several novel pattern recognition methods in non-Euclidean spaces of probability distribution functions (PDFs) are developed and validated. The second main contribution lies in the application of these and other techniques to a systematic analysis of ELMs in tokamak plasmas.
In regard to the methodological aims of the work, we employ the framework of information geometry to develop pattern visualization and classification methods in spaces of probability distributions. In information geometry, a family of probability distributions is considered as a Riemannian manifold. Every point on the manifold represents a single PDF and the distribution parameters provide local coordinates on the manifold. The Fisher information plays the role of a Riemannian metric tensor, enabling calculation of geodesic curves on the surface. The length of such curves yields the geodesic distance (GD) on probabilistic manifolds, which is a natural similarity (distance) measure between PDFs. Equipped with a suitable distance measure, we extrapolate several distance-based pattern recognition methods to the manifold setting. This includes k-nearest neighbor (kNN) and conformal predictor (CP) methods for classification, as well as multidimensional scaling (MDS) and landmark multidimensional scaling (LMDS) for data visualization (dimensionality reduction). Furthermore, two new classification schemes are developed: a distance-to-centroid classifier (D2C) and a principal geodesic classifier (PGC). D2C classifies on the basis of the minimum GD to the class centroids and PGC considers the shape of the class on the manifold by determining the minimum distance to the principal geodesic of each class. The methods are validated by their application to the classification and retrieval of colored texture images represented in the wavelet domain. Both methods prove to be computationally efficient, yield high accuracy and also clearly exhibit the adequacy of the GD and its superiority over the Euclidean distance, for comparing PDFs. This also aids in demonstrating the utility and adaptability of the developed methods to a wide range of applications other than ELMs, which are the prime focus of analysis in this work.
The second main goal of the work targets ELM analysis at three fronts, using pattern recognition and probabilistic modeling :
i). We first concentrate on visualization of ELM characteristics by creating maps containing projections of multidimensional ELM data, as well as the corresponding probabilistic models. Such maps can provide physicists and machine operators with a convenient means and a useful tool for plasma monitoring and for studying data patterns reflecting key regimes and their underlying physics. In particular, GD-based MDS is used for representing the complete distributions of the multidimensional data characterizing the operational space of ELMs onto two-dimensional maps. Clusters corresponding to type I and type III ELMs are identified and the maps enable tracking of trends in plasma parameters across the operational space. It is shown that the maps can also be used with reasonable accuracy for predicting the values of the plasma parameters at a certain point in the operational space.
ii). Our second application concerns fast, standardized and automated classification of ELM types. ELM types have so far been identified and characterized on an empirical and phenomenological basis. The presented classification schemes are aimed at complementing the phenomenological characterization using standardized methods that are less susceptible to subjective interpretation, while considerably reducing the effort of ELM experts in identifying ELM types. To this end, different classification paradigms (parametric and non-parametric) are explored and put to use. Discriminant analysis (DA) is used for determining a linear separation boundary between type I and III ELMs in terms of global plasma parameters, which can then be used for the prediction of ELM types as well as the study of ELM occurrence boundaries and ELM physics. However, DA makes an assumption about the underlying class distribution and presently cannot be applied in spaces of probability distributions, leading to a sub-optimal treatment of stochasticity. This is circumvented by the use of GD-based CP and kNN classifiers. CP provides estimates of its own accuracy and reliability and kNN is a simple, yet powerful classifier of ELM types. It is shown that a classification based on the distribution of ELM properties, namely inter-ELM time intervals and the distribution of global plasma parameters, is more informative and accurate than the classification based on average parameter values.
iii). Finally, the correlation} between ELM energy loss (ELM size) and ELM waiting times (inverse ELM frequency) is studied for individual ELMs in a set of plasmas from the JET tokamak upgraded with the ITER-like wall (ILW). Typically, ELM control methods rely on the empirically observed inverse dependence of average ELM energy loss on average ELM frequency, even though ELM control is targeted at reducing the size of individual ELMs and not the average ELM loss. The analysis finds that for individual ELMs the correlation between ELM energy loss and waiting times varies from zero to a moderately positive value. A comparison is made with the results from a set of carbon-wall (CW) JET plasmas and nitrogen-seeded ILW JET plasmas. It is found that a high correlation between ELM energy loss and waiting time comparable to CW plasmas is only found in nitrogen-seeded ILW plasmas. Furthermore, most of the unseeded JET ILW plasmas have ELMs that are followed by a second phase referred to as the slow transport event (STE). The effect of the STEs on the distribution of ELM durations is studied, as well as their influence on the correlation between ELM energy loss and waiting times. This analysis has a clear outcome for the optimization of ELM control methods, while presenting insights for an improved physics understanding of ELMs.Die Analyse von experimentellen Daten magnetisch eingeschlossener Fusionsplasmen stellt wegen der groĂen Datenmengen, der hohen DimensionalitĂ€t, der Messunsicherheiten und auch der oft nichtlinearen Beziehungen untereinander eine groĂe Herausforderung dar. Methoden der Datenanalyse aus den Feldern des maschinellen Lernens sowie der Wahrscheinlichkeitstheorie spielen daher in letzter Zeit eine immer gröĂere Rolle bei der Analyse von Daten aus Fusionsexperimenten. Dabei interessiert vor allem die Möglichkeit, zusĂ€tzliche Information welche dem menschlichen Beobachter verborgen bleiben, systematisch zu extrahieren. ZusĂ€tzlich können innovative Methoden der Echtzeit-Datenverarbeitung eine wichtige Rolle fĂŒr Kontrollanwendungen in Fusionsexperimenten spielen.
Mustererkennung ist eine Disziplin der Informationstheorie welche sich mit der Erforschung von Strukturen in multidimensionalen DatensĂ€tzen durch computergestĂŒtzte Methoden und Algorithmen beschĂ€ftigt. In dieser Doktorarbeit werden Methoden der Mustererkennung auf Daten von Tokamakexperimenten fĂŒr eine systematische Analyse von edge-localized modes (ELMs) angewendet. ELMs sind magnetohydrodynamische (MHD) InstabilitĂ€ten die am Plasmarand in âhigh-confinementâ (H-mode) Fusionsplasmen auftreten. Die âTyp I ELMy H-mode' ist das Referenz-Betriebsszenario fĂŒr das zukĂŒnftige ITER Experiment. ELMs spielen einerseits eine positive Rolle fĂŒr den Plasmabetrieb da sie zur Verunreinigungskontrolle beitragen. Andererseits werfen ELMs Teilchen und Energie aus dem Plasma und könnten daher in ITER die IntegritĂ€t der ersten Wand gefĂ€hrden.
Eine signifikante Herausforderung bei der Interpretation von Experimenten welche sich mit dem VerstĂ€ndnis und der Kontrolle von ELMs beschĂ€ftigen liegt in der Behandlung der Messunsicherheiten sowie der inhĂ€renten StochastizitĂ€t der ELM Parameter. In der vorliegenden Arbeit werden probabilistische Modelle (Verteilungen) zur quantitativen Beschreibung der Daten mit dem Ziel einer verbesserten systematischen Einteilung der ELM-PhĂ€nomenologie verwendet. Dabei wird davon ausgegangen, dass die fundamentale GröĂe eines Systems eine Wahrscheinlichkeitsverteilung ist, wobei jede Einzelmessung eine Stichprobe dieser Verteilung darstellt. Dabei wird angenommen dass, im Besonderen fĂŒr stark stochastische Ereignisse wie ELMs, die Wahrscheinlichkeitsverteilung der physikalischen Parameter deutlich mehr Information enthĂ€lt als deren Mittelwerte. Folglich erfordert die Erforschung der Struktur der unterschiedlichen ELM Regimes Methoden, welche die intrinsisch stochastische Natur der Daten berĂŒcksichtigen kann.
Diese Arbeit liefert zwei grundsÀtzlich neue BeitrÀge: zunÀchst werden neuartige Strukturerkennungs-Methoden in nicht-euklidischen RÀumen von Wahrscheinlichkeitsverteilungen entwickelt und validiert. Der zweite grundsÀtzliche Beitrag liegt in der Anwendung dieser und anderer Methoden auf eine systematische Analyse von ELMs in Tokamakplasmen.
Aus methodologischer Sicht wird in dieser Arbeit die Informationsgeometrie angewendet um Methoden zur Mustererkennung und âklassifizierung in RĂ€umen von Wahrscheinlichkeitsverteilungen zu entwickeln. In der Informationsgeometrie wird eine Familie von Wahrscheinlichkeitsverteilungen als eine Riemannsche Mannigfaltigkeit aufgefasst. Jeder Punkt auf der Mannigfaltigkeit stellt eine Wahrscheinlichkeitsverteilung dar und die Verteilungsparameter sind lokale Koordinaten auf der Mannigfaltigkeit. Die Fisher Information spielt dabei die Rolle des Riemannschen metrischen Tensors und erlaubt es, geodĂ€tische Kurven auf der FlĂ€che zu berechnen. Die LĂ€nge einer solchen Kurve ergibt den geodĂ€tischen Abstand auf der Mannigfaltigkeit, welcher ein natĂŒrliches MaĂ fĂŒr den Abstand zwischen Verteilungsfunktionen ist. Mit diesem geeigneten AbstandsmaĂ werden mehrere Mustererkennungsmethoden welche auf dem Abstand basieren auf die Mannigfaltigkeit angewandt. Diese schlieĂen die âk-nearest neighborâ (kNN) und âconformal predictorâ (CP) Klassifikationsmethoden ein sowie âmultidimensional scalingâ (MDS) und âlandmark multidimensional scalingâ (LMDS) zur Datenvisualisierung mit dem Ziel der Dimensionsreduktion. Desweitern werden zwei neue Klassifikationsmethoden entwickelt: ein âdistance-to-centroid classifierâ (D2C) und ein âprincipal geodesic classifierâ (PGC). D2C klassifiziert auf Basis des minimalen geodĂ€tischen Abstands vom Schwerpunkt der Daten und PGC berĂŒcksichtigt die Form der Klasse auf der Mannigfaltigkeit indem der Abstand zur HauptgeodĂ€tischen jeder Klasse bestimmt wird. Diese Methoden werden durch Anwendung auf die Klassifizierung und Rekonstruktion von farbigen Texturbildern in der Waveletdarstellung validiert. Beide Methoden stellen sich als effizient im Rechenaufwand heraus und liefern hohe Genauigkeit, wobei der geodĂ€tische Abstand dem euklidischen Abstand deutlich ĂŒberlegen ist und somit als angemessen fĂŒr den Vergleich von Verteilungsfunktionen bestĂ€tigt wird. Dies dient auch dem Nachweis der Eignung der entwickelten Methoden fĂŒr eine Vielzahl von Anwendungen ĂŒber das in dieser Arbeit vorrangig behandelte Feld der ELMs hinaus.
Das zweite Hauptziel der Arbeit ist die Analyse von ELMs mit den Methoden der Mustererkennung und der wahrscheinlichkeitstheoretischen Modellierung auf drei Gebieten:
i). ZunĂ€chst wird die Visualisierung von ELM Eigenschaften durch Erstellung von Abbildungen behandelt welche multidimensionale ELM Daten projizieren. Solche Abbildungen können fĂŒr Physiker und Experimentatoren ein nĂŒtzliches Werkzeug zur Ăberwachung der Plasmaentladung darstellen und dienen darĂŒber hinaus zu Studien von Datenmustern, welche prinzipielle Regimes und deren zugrundeliegende Physik charakterisieren. Im speziellen wird die GD-basierte MDS zur Darstellung der gesamten Verteilung der multidimensionalen Daten, welche das Auftreten von ELMs beschreiben in zweidimensionalen Abbildungen verwendet. Cluster in welchen âTyp Iâ und âTyp IIIâ ELMs auftreten werden identifiziert und die Abbildung ermöglicht es, Trends in der VerĂ€nderung von Plasmaparametern im Parameterraum zu erkennen. Es wird gezeigt, dass diese Abbildungen auch dazu verwendet werden können, die Plasmaparameter fĂŒr einen bestimmten Punkt im Betriebsbereich vorherzusagen.
ii). Eine zweite Anwendung beschĂ€ftigt sich mit einer schnellen, standardisierten Klassifizierung des ELM Typs. ELM Typen wurden bisher auf einer empirisch-phĂ€nomenologischen Basis identifiziert. Die hier vorgestellten Klassifizierungs-Schemata dienen der ErgĂ€nzung der phĂ€nomenologischen Beschreibung durch standardisierte Methoden welche weniger anfĂ€llig fĂŒr subjektive Wahrnehmung und Interpretation sind und sollen auch den Aufwand bei der Bestimmung des ELM Typs verringern. Verschiedene Klassifizierungsmethoden, parametrisch und nicht-parametrisch, werden untersucht und eingesetzt. Discriminant Analysis (DA) wird fĂŒr die Bestimmung einer linearen Grenze zwischen Typ I und Typ III ELMs in globalen Plasmaparametern eingesetzt, die dann sowohl zur Vorhersage des ELM Typs als auch zur Untersuchung der Bereiche, in denen die unterschiedlichen ELM Typen auftreten, verwendet wird. Dabei basiert die DA allerdings auf einer Annahme ĂŒber die zugrunde liegende Verteilung der Klassen und kann nach derzeitigem Stand nicht auf RĂ€ume von Verteilungsfunktionen angewendet werden, was zu einer unzureichenden Behandlung der StochastizitĂ€t fĂŒhrt. Dies wird durch die Verwendung von GD-basierter CP und von kNN Klassifikatoren behoben. CP liefert eine AbschĂ€tzung ihrer Genauigkeit und ZuverlĂ€ssigkeit und kNN ist ein einfacher, aber leistungsstarker Klassifikator fĂŒr ELM-Typen. Es wird gezeigt dass eine Klassifizierung basierend auf der Verteilung der ELM Eigenschaften, namentlich der inter-ELM Zeitintervalle und der Verteilung der globalen Plasmaparameter, mehr Information enthĂ€lt als eine Klassifizierung welche auf gemittelten Werten basiert.
iii).SchlieĂlich wird die Korrelation zwischen ELM Energieverlust (ELM GröĂe) und ELM Wartezeiten (inverse ELM Frequenz) fĂŒr individuelle ELMs aus einer Datenbasis von Plasmaentladungen des JET Tokamaks in der âITER-like wallâ (ILW) Konfiguration untersucht. ELM Kontrollmethoden basieren typischerweise auf dem empirisch beobachteten inversen Zusammenhang zwischen mittlerem ELM-Verlust und mittlerer ELM-Frequenz, obwohl ELM Kontrolle die Reduktion der GröĂe individueller ELMs zum Ziel hat. Die Analyse zeigt, dass fĂŒr individuelle ELMs die Korrelation zwischen ELM-Energieverlust und Wartezeit generell niedrig ist. Dieses Ergebnis wird mit einem Datensatz von JET in der âcarbon-wallâ (CW) Konfiguration sowie einem Datensatz von Stickstoff-gekĂŒhlten ILW JET Plasmen verglichen. Es zeigt sich, dass eine hohe Korrelation zwischen ELM-Energieverlust und Wartezeit, vergleichbar zu CW Plasmen, nur in Stickstoff-gekĂŒhlten ILW Plasmen auftritt. DarĂŒber hinaus treten in den meisten JET ILW Plasmen ohne StickstoffkĂŒhlung ELMs auf, welche von einer zweiten Phase, slow transport event (STE) genannt, begleitet werden. Der Effekt der STEs auf die Verteilung der ELM Dauer sowie deren Einfluss auf die Korrelation zwischen ELM-Energieverlust und Wartezeit wird untersucht. Diese Untersuchung hat einerseits eine starke Relevanz fĂŒr die Optimierung von Methoden zur ELM Kontrolle, andererseits trĂ€gt sie zum tieferen Einblick in die den ELMs zugrunde liegende Physik bei
Profile of high-performing college soccer teams: An exploratory multi-level analysis
Purpose: To determine the profile of high-performing college soccer teams through the use of exploratory hierarchical linear modeling (HLM) based on a socio-cognitive approach.
Design and Measures: A correlational design was employed in this study. The sample consisted of 340 college soccer players of both genders (178 female and 162 male), representing 17 different teams (8 female and 9 male) ranked in the top-32 of the National Association of Intercollegiate Athletics (NAIA). Numerous demographic and soccer-related variables represented level-1 in the HLM model. Group Environment Questionnaire and Team Assessment Diagnostic Measure were entered as level-2 variables, representing cohesion and team mental models, respectively. Perceived performance potential (PPP) served as the dependent variable. Objective performance scores were correlated with PPP, attesting a moderate to high-level of criterion related validity (r = .78).
Results: The final model suggested that: (1) International athletes perceive their performance lower than others, (2) different field positions share different covariance coefficients with PPP, and (3) perception of social cohesion from a group, rather than individual, standpoint is positively associated with perceptions of team performance.
Conclusions: High performing teams have clearly defined task-related and team-related goals. Accordingly, social rather than task related factors may represent a competitive edge, further energizing the interactions and performance of top-ranked teams. International athletes perceive team performance lower than locals, perhaps due to differences in preferred game-style and acculturation experiences. Players from different field positions (i.e., goalkeepers, defensive, and offensive players) relate differently to team performance in college soccer
Deep learning for time series classification: a review
Time Series Classification (TSC) is an important and challenging problem in
data mining. With the increase of time series data availability, hundreds of
TSC algorithms have been proposed. Among these methods, only a few have
considered Deep Neural Networks (DNNs) to perform this task. This is surprising
as deep learning has seen very successful applications in the last years. DNNs
have indeed revolutionized the field of computer vision especially with the
advent of novel deeper architectures such as Residual and Convolutional Neural
Networks. Apart from images, sequential data such as text and audio can also be
processed with DNNs to reach state-of-the-art performance for document
classification and speech recognition. In this article, we study the current
state-of-the-art performance of deep learning algorithms for TSC by presenting
an empirical study of the most recent DNN architectures for TSC. We give an
overview of the most successful deep learning applications in various time
series domains under a unified taxonomy of DNNs for TSC. We also provide an
open source deep learning framework to the TSC community where we implemented
each of the compared approaches and evaluated them on a univariate TSC
benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By
training 8,730 deep learning models on 97 time series datasets, we propose the
most exhaustive study of DNNs for TSC to date.Comment: Accepted at Data Mining and Knowledge Discover
Incorporating genome-scale tools for studying energy homeostasis
Mammals have evolved complex regulatory systems that enable them to maintain energy homeostasis despite constant environmental challenges that limit the availability of energy inputs and their composition. Biological control relies upon intricate systems composed of multiple organs and specialized cell types that regulate energy up-take, storage, and expenditure. Because these systems simultaneously perform diverse functions and are highly integrated, they are extremely difficult to understand in terms of their individual component contributions to energy homeostasis. In order to provide improved treatments and clinical options, it is important to identify the principle genetic and molecular components, as well as the systemic features of regulation. To begin, many of these features can be discovered by integrating experimental technologies with advanced methods of analysis. This review focuses on the analysis of transcriptional data derived from microarrays and how it can complement other experimental techniques to study energy homeostasis
- âŠ