Active Inverse Reward Design

Designers of AI agents often iterate on the reward function in a trial-and-error process until they get the desired behavior, but this only guarantees good behavior in the training environment. We propose structuring this process as a series of queries asking the user to compare between different reward functions. Thus we can actively select queries for maximum informativeness about the true reward. In contrast to approaches asking the designer for optimal behavior, this allows us to gather additional information by eliciting preferences between suboptimal behaviors. After each query, we need to update the posterior over the true reward function from observing the proxy reward function chosen by the designer. The recently proposed Inverse Reward Design (IRD) enables this. Our approach substantially outperforms IRD in test environments. In particular, it can query the designer about interpretable, linear reward functions and still infer non-linear ones

Die Nethe wieder "lachsgängig" machen – das Nethe-Projekt im Rahmen des Wanderfischprogramms

Die zwischen Meer und Süßwasser wandernden, diadromen (griechisch: dia-: durch, wieder; -drom: laufen) Fischarten besiedeln im Laufe ihres Lebens unterschiedliche Lebensräume. Sie sind auf eine ungestörte Vernetzung dieser Gebiete von den Bachoberläufen über die Flussläufe bis hin zum Meer angewiesen. Die hohe Aussagekraft einer erfolgreichen Wiederansiedlung von Wanderfischen für eine artenreiche Fischfauna sowie ganzheitlich intakte Fließgewässer (INGENDAHL et al. 2008) erklärt auch die aktuellen Bemühungen zur Schaffung der Durchgängigkeit der Nethe. Sie wird auf Ebene der Fachbehörden seit 1998 thematisiert. Ebenfalls ab 1998 wurde auf Landesebene an Konzepten für eine gezielte Wiederherstellung von Lebensräumen für Wanderfische gearbeitet, die in das Wanderfischprogramm Nordrhein Westfalen mündeten. Im Rahmen dieses Programms wurde eine ganze Reihe von Lachs-Besatzmaßnahmen in der Nethe durchgeführt. Mit der Einführung der EU-Wasserrahmenrichtlinie im Dezember 2000, trat eine rechtliche Grundlage in Kraft die den Gewässerschutz in Europa neu ordnete und der ökologischen Bedeutung von Gewässern deutlich mehr Gewicht beimaß. Um den bisherigen Bemühungen mehr Durchschlagskraft zu verschaffen beauftragte die Bezirksregierung Detmold im Sommer 2005 die Landschaftsstation im Kreis Höxter mit dem Projektmanagement zur ökologischen Entwicklung der Nethe: Die Landschaftsstation erläuterte in ihrem Jahresbericht 2006 bereits die Gründe für die Wanderbewegungen von Fischen sowie die Situation an den Wasserkraftanlagen, die keine vollständige Durchgängigkeit bieten, und stellte entsprechende Lösungen vor (BEINLICH et al. 2007: 116-118). Dieser Bericht beschreibt die weiteren Arbeiten im Rahmen des Projektmanagements und geht auf die veränderten Rahmenbedingungen ein

Exploratory Study of the Privacy Extension for System Theoretic Process Analysis (STPA-Priv) to elicit Privacy Risks in eHealth

Context: System Theoretic Process Analysis for Privacy (STPA-Priv) is a novel privacy risk elicitation method using a top down approach. It has not gotten very much attention but may offer a convenient structured approach and generation of additional artifacts compared to other methods. Aim: The aim of this exploratory study is to find out what benefits the privacy risk elicitation method STPA-Priv has and to explain how the method can be used. Method: Therefore we apply STPA-Priv to a real world health scenario that involves a smart glucose measurement device used by children. Different kinds of data from the smart device including location data should be shared with the parents, physicians, and urban planners. This makes it a sociotechnical system that offers adequate and complex privacy risks to be found. Results: We find out that STPA-Priv is a structured method for privacy analysis and finds complex privacy risks. The method is supported by a tool called XSTAMPP which makes the analysis and its results more profound. Additionally, we learn that an iterative application of the steps might be necessary to find more privacy risks when more information about the system is available later. Conclusions: STPA-Priv helps to identify complex privacy risks that are derived from sociotechnical interactions in a system. It also outputs privacy constraints that are to be enforced by the system to ensure privacy.Comment: author's post-prin

Erweiterung der automatischen statischen Codeanalyse um Social Coding

In dieser Masterarbeit wird zunächst eine Definition für Social Coding hergeleitet. Danach werden verschiedenen Ansätze für Social Coding in die drei Kategorien, Kommunikation, Kooperation und Koordination des 3C-Modells sowie nach der grundlegenden Art des Ansatzes eingeteilt. Zu den analysierten Ansätzen gehören Online-Plattformen wie Stack Overflow und GitHub sowie Entwicklungsumgebungen und Erweiterungen davon wie Cloud9 und Visual Studio Anywhere. Im Weiteren werden zwei Ansätze zur Erweiterung der statischen Code-Analyse Software FindBugs um Social Coding vorgestellt. Die erste Erweiterung bietet dem Benutzer die Möglichkeit gefundene Bugs zu Online-Plattformen zu exportieren während die zweite Erweiterung ein eigenes Bug-Tracking-System mit dem Hauptaugenmerk auf einem Kommentarsystem im Quellcode-Repository des Projekts abbildet und mit einer modernen Oberfläche präsentiert.A definition for the term social coding is derived first in this thesis. Afterwards different approaches for social coding are put in the three categories, communication, cooperation and coordination of the 3C-Model as well as grouped by the kind of their approach. The analyzed approaches consist of online platforms like Stack Overflow and GitHub and also development environments and extensions of them like Cloud9 and Visual Studio Anywhere. Apart from that two approaches that add social coding to the static code analysis software FindBugs are being presented. The first approach offers an export possibility to an online platform for bugs whereas the second approach implements social coding itself in form of a bug-tracking-system with focus on a commenting-system and presenting that through a modern user interface

Post-training load-related changes of auditory working memory: An EEG study

Working memory (WM) refers to the temporary retention and manipulation of information, and its capacity is highly susceptible to training. Yet, the neural mechanisms that allow for increased performance under demanding conditions are not fully understood. We expected that post-training efficiency in WM performance modulates neural processing during high load tasks. We tested this hypothesis, using electroencephalography (EEG) (N = 39), by comparing source space spectral power of healthy adults performing low and high load auditory WM tasks. Prior to the assessment, participants either underwent a modality-specific auditory WM training, or a modality-irrelevant tactile WM training, or were not trained (active control). After a modality-specific training participants showed higher behavioral performance, compared to the control. EEG data analysis revealed general effects of WM load, across all training groups, in the theta-, alpha-, and beta-frequency bands. With increased load theta-band power increased over frontal, and decreased over parietal areas. Centro-parietal alpha-band power and central beta-band power decreased with load. Interestingly, in the high load condition a tendency toward reduced beta-band power in the right medial temporal lobe was observed in the modality-specific WM training group compared to the modality-irrelevant and active control groups. Our finding that WM processing during the high load condition changed after modality-specific WM training, showing reduced beta-band activity in voice-selective regions, possibly indicates a more efficient maintenance of task-relevant stimuli. The general load effects suggest that WM performance at high load demands involves complementary mechanisms, combining a strengthening of task-relevant and a suppression of task-irrelevant processing