Geometry and convergence of natural policy gradient methods

We study the convergence of several natural policy gradient (NPG) methods in infinite-horizon discounted Markov decision processes with regular policy parametrizations. For a variety of NPGs and reward functions we show that the trajectories in state-action space are solutions of gradient flows with respect to Hessian geometries, based on which we obtain global convergence guarantees and convergence rates. In particular, we show linear convergence for unregularized and regularized NPG flows with the metrics proposed by Kakade and Morimura and co-authors by observing that these arise from the Hessian geometries of conditional entropy and entropy respectively. Further, we obtain sublinear convergence rates for Hessian geometries arising from other convex functions like log-barriers. Finally, we interpret the discrete-time NPG methods with regularized rewards as inexact Newton methods if the NPG is defined with respect to the Hessian geometry of the regularizer. This yields local quadratic convergence rates of these methods for step size equal to the penalization strength.Comment: 33 pages, 5 figures, under revie

Localizing and Estimating Causal Relations of Interacting Brain Rhythms

Estimating brain connectivity and especially causality between different brain regions from EEG or MEG is limited by the fact that the data are a largely unknown superposition of the actual brain activities. Any method, which is not robust to mixing artifacts, is prone to yield false positive results. We here review a number of methods that allow for addressing this problem. They are all based on the insight that the imaginary part of the cross-spectra cannot be explained as a mixing artifact. First, a joined decomposition of these imaginary parts into pairwise activities separates subsystems containing different rhythmic activities. Second, assuming that the respective source estimates are least overlapping, yields a separation of the rhythmic interacting subsystem into the source topographies themselves. Finally, a causal relation between these sources can be estimated using the newly proposed measure Phase Slope Index (PSI). This work, for the first time, presents the above methods in combination; all illustrated using a single, simulated data set

Neue Erkenntnisse zur Ermüdungsfestigkeit und Prognose der Lebensdauer von einbetonierten Spannstählen bei sehr hohen Lastwechselzahlen

Für den Nachweis gegen Ermüdung von älteren bestehenden Spannbetonbrücken oder Neubauten werden Bemessungswöhlerlinien für Spannstahl im einbetonierten Zustand benötigt. Die bisherigen Versuche mit gekrümmten Spanngliedern im nachträglichen Verbund decken die Wöhlerlinie im Wesentlichen im Zeitfestigkeitsbereich ab. Nur sehr wenige Versuche weisen Lastspielzahlen über 10 Mio. auf, wobei keine echte Dauerfestigkeit erkennbar ist. Daher ist der Verlauf der Wöhlerlinie im Dauerfestigkeitsbereich im Wesentlichen hypothetisch festgelegt worden. Im Rahmen eines Teilprojektes im SFB 823 „Statistik nichtlinearer dynamischer Prozesse“ an der TU Dortmund wird die Ermüdungsfestigkeit einbetonierter Spannstähle im Bereich bis etwa 10^8 Lastzyklen experimentell untersucht. Des Weiteren wurden auf Grundlage der sehr umfangreichen Datenbasis verschiedener gemessener physikalischer Größen mit mathematisch statistischen Methoden mehrere Prognoseverfahren entwickelt. Diese ermöglichen bei vorgegebener Aussagewahrscheinlichkeit die Abschätzung eines Prognoseintervalls mit Mittelwert- und Quantilkurven für den Schädigungsverlauf

Documentation of Medieval caves in southern Crimea (Ukraine) using hybrid data sources

The subject of this article is the geometric documentation of more than 500 caves cut into the soft rock of the plateau of Eski-Kermen, a medieval settlement on the highlands of the south-western Crimea. The types of caves and carved surface areas vary from very simple to extensive ones. A large number of traces and objects were recorded as basis for the understanding of the use of the caves, which were modified throughout the centuries until recent times. The aim of our sub-project is to develop a comprehensive system of effective geometric and archaeological documentation for further studies of cave settlements

Internationales Product Management 2011 : Einsatz und Trends – Ergebnisse Schweiz

StudieIm Bereich Product Management führen wir 2011 erstmalig eine umfassende Studie zum Status Quo und den aktuellen Trends des Product Managements durch. Befragt werden Product Management-Entscheidungsträger aus der Schweiz sowie aus dem Ausland

Anastomoseninsuffizienz nach kolorektalen Resektionen : welche Aussagekraft hat der Verlauf des C-reaktiven Proteins (CRP)?

Einleitung: Anastomoseninsuffizienzen sind schwerwiegende Komplikationen nach Kolonresektionen. Nur selten sind klinische oder laborchemische Zeichen Vorboten einer Insuffizienz. Material und Methoden: Wir haben unser Patientenkollektiv nach kolorektalen Resektionen retrospektiv untersucht in Hinblick auf einen Anstieg des C-rektiven Proteins (CRP) postoperativ als Zeichen einer Insuffizienz. Hierzu wurde der Unterschied vom präoperativen Messwert zum Messwert am 1. bis 7. postoperativen Tag berechnet. Bei Patienten mit Anastomoseninsuffizienz wurden die Werte nur bis zum Tag der Insuffizienz einbezogen, um einen Anstieg durch eine eventuelle Revision auszuklammern. Ergebnisse: Im Zeitraum von 8/2002 bis 8/2005 wurden bei 342 Patienten eine Kolonresektion durchgeführt. Im einzelnen waren dies 101 (29,5%) Sigmaresektionen, 89 (26,0%) Hemikolektomien rechts, 56 (16,4%) Rektumresektionen, 38 (11,1%) Ileocoecalresektionen, 24 (7,0%) Hemikolektomien links, 22 (6,4%) Segmentresektionen, 12 (3,5%) Kolektomien. Das Alter der Patienten lag bei 61,6 +/- 15,0 Jahren. Es wurden 142 (41,5%) Frauen und 200 (58,5%) Männer operiert, 301 (88%) Patienten elektiv und 41 (12%) als Notfall. Die Inzidenz von symptomatischen und asymptomatischen Anastomosen-insuffizienzen lag im Gesamtkollektiv bei 26/342 (7,6%), sie traten durchschnittlich 8,7 +/- 7,1 (1-27) Tage nach der Operation auf. Eine Analyse der CRP-Werte ergab bei den Patienten die im Verlauf eine Anastomoseninsuffizienz entwickelten signifikant höhere Anstiege von präoperativ bis zum 3. (+10,9 mg/dl versus +16,5 mg/dl, p=0,018), 5. (+4,2 mg/dl versus +13,1 mg/dl, p=0,002), 6. (+3,8 mg/dl versus +14,6 mg/dl, p=0,002), und 7. (+2,8 mg/dl versus +18,3 mg/dl, p<0,001) postoperativen Tag. Die Differenz zum 4. postoperativen Tag zeigte keinen signifikanten Unterschied (+6,5 mg/dl versus +11,2 mg/dl, p=0,3). Die absoluten Messwerte waren nicht signifikant unterschiedlich. Andere Laborparameter wie Leukozyten, Kreatinin, Albumin ergaben keinen Unterschied im Vergleich der beiden Gruppen.Die Untersuchung von Risikofaktoren für eine Anastomoseninsuffizienz konnte keinen signifikanten Unterschied zeigen für: Alter, Geschlecht, ASA, OP-Dauer, Zugang (offen oder laparoskopisch), benigne oder maligne Erkrankung, Kolon- oder Rektumresektion, elektive oder Notfalloperation. Schlussfolgerung: Der Verlauf des CRP ist ein signifikanter Marker für das Auftreten von Anastomoseninsuffizienzen nach kolorektalen Resektionen

Umweltwirkungen unterschiedlich intensiv wirtschaftender Milchviehbetriebe im Ökologischen Landbau in NRW

Organic dairy farms with different feeding intensity and production structure differ significantly in their environmental impacts; low input organic farms achieve a higher product quality and animal welfare and cause less environmental risk for sensitive ecosystems and water quality due to lower nitrogen emissions. Intensive organic farms achieve lower greenhouse gas emissions because of lower CH4 emissions per litre milk. However, the contribution of animal husbandry to global warming potential is relatively low and the aim of low CH4 emission runs contrary to ruminant welfare. Concerning the impact categories of biodiversity, product quality and energy con-sumption, the average ecological benefit of the farms is relatively low compared to the best single farm, indicating a high management influence