Dynamic Parameter Allocation in Parameter Servers

To keep up with increasing dataset sizes and model complexity, distributed training has become a necessity for large machine learning tasks. Parameter servers ease the implementation of distributed parameter management---a key concern in distributed training---, but can induce severe communication overhead. To reduce communication overhead, distributed machine learning algorithms use techniques to increase parameter access locality (PAL), achieving up to linear speed-ups. We found that existing parameter servers provide only limited support for PAL techniques, however, and therefore prevent efficient training. In this paper, we explore whether and to what extent PAL techniques can be supported, and whether such support is beneficial. We propose to integrate dynamic parameter allocation into parameter servers, describe an efficient implementation of such a parameter server called Lapse, and experimentally compare its performance to existing parameter servers across a number of machine learning tasks. We found that Lapse provides near-linear scaling and can be orders of magnitude faster than existing parameter servers

Identification of novel substrates of the Insoluble Protein Deposit (IPOD) in the yeast S. cerevisiae

Cells have evolved elaborate protein quality control systems (PQS), which include molecular chaperones and proteolytic machineries. However, when the occurrence of misfolded proteins exceeds the PQS’s capacity, they accumulate and can form aggregates. More and more evidence suggests that the accumulation of misfolded protein species into specific spatially separated deposition sites is a cytoprotective response of the cell. The yeast S. cerevisiae has at least three different such protein quality control sites: the JUxtaNuclear Quality control (JUNQ)/IntraNuclear Quality control site (INQ) and the Cyto-Q harbours unstructured, amorphously misfolded proteins, while the perivacuolar Insoluble PrOtein Deposit (IPOD) has been initially described as a deposition site for amyloid aggregates. However, more recently it has been suggested that the IPOD may also harbour other types of substrates, such as oxidatively damaged proteins and inactive/damaged proteasomes or subunits thereof. Interestingly, many of these potential substrate classes can form high molecular weight aggregates or represent large protein complexes, respectively. Because the IPOD lies directly adjacent to the phagophore assembly site at the vacuole, it was hypothesized that the perivacuolar IPOD may represent a sorting center for aggregates and larger protein complexes destined for autophagic turnover. This study focuses on the enrichment of IPODs visualized with the model substrate PrD-GFP under different conditions, including oxidative stress, to characterize other IPOD substrates through an unbiased mass spectrometry approach. This strategy identified several proteins that co-enriched with the IPOD, mainly after oxidative stress. Among these was Pyruvate decarboxylase 1 (Pdc1), a protein susceptible to carbonylation which has been previously hypothesized to be present at the IPOD after oxidative insult. For a Pdc1-mCh fusion protein, it was observed that the number of cells which formed Pdc1-mCh foci was increased after different forms of oxidative stress such as H2O2 or menadione treatment. The majority of these stress-induced foci colocalized with PrD-GFP marked IPODs. Other proteins found enriched at the IPOD after oxidative stress include Enolase 2 (Eno2) and Glyceraldehyde-3-phosphate dehydrogenase isozyme 3 (Tdh3). Along these lines, by staining for carbonylated proteins it was found that the overall levels of carbonylated proteins co-enriching with IPODs were much higher after application of oxidative stress. This supports the hypothesis that aggregates of oxidatively damaged proteins are another substrate group for the IPOD. Furthermore, it has been shown that aberrant stress granules transiently associate with the aggresome on their way to autophagic degradation in mammalian cells. I hypothesized that the IPOD may play a similar role to the aggresome in yeast in this regard and indeed, in a dCuz1 background that hinders proteasomal degradation of stress granules and makes them more persistent, a proportion of aberrant arsenite-induced stress granules marked by Pab1mCh colocalized with the IPOD after arsenite stress

Efficient Two-Qubit Pulse Sequences Beyond CNOT

We design efficient controlled-rotation gates with arbitrary angle acting on three-spin encoded qubits for exchange-only quantum computation. Two pulse sequence constructions are given. The first is motivated by an analytic derivation of the efficient Fong-Wandzura sequence for an exact CNOT gate. This derivation, briefly reviewed here, is based on elevating short sequences of SWAP pulses to an entangling two-qubit gate. To go beyond CNOT, we apply a similar elevation to a modified short sequence consisting of SWAPs and one pulse of arbitrary duration. This results in two-qubit sequences that carry out controlled-rotation gates of arbitrary angle. The second construction streamlines a class of arbitrary CPHASE gates established earlier. Both constructions are based on building two-qubit sequences out of subsequences with special properties that render each step of the construction analytically tractable.Comment: 20 pages, 13 figures, published versio

Non-invasive progressive optimization for in-memory databases

Progressive optimization introduces robustness for database workloads against wrong estimates, skewed data, correlated attributes, or outdated statistics. Previous work focuses on cardinality estimates and rely on expensive counting methods as well as complex learning algorithms. In this paper, we utilize performance counters to drive progressive optimization during query execution. The main advantages are that performance counters introduce virtually no costs on modern CPUs and their usage enables a non-invasive monitoring. We present fine-grained cost models to detect differences between estimates and actual costs which enables us to kick-start reoptimization. Based on our cost models, we implement an optimization approach that estimates the individual selectivities of a multi-selection query efficiently. Furthermore, we are able to learn properties like sortedness, skew, or correlation during run-time. In our evaluation we show, that the overhead of our approach is negligible, while performance improvements are convincing. Using progressive optimization, we improve runtime up to a factor of three compared to average run-times and up to a factor of 4,5 compared to worst case run-times. As a result, we avoid costly operator execution orders and; thus, making query execution highly robust

Literatur und Wahrheit - Fluchtgeschichten

Wieso noch einmal dieses Thema? Ist nicht längst schon alles gesagt? Dass die Dichter zu viel lügen, so Platon in seinem utopischen Entwurf des besten Staates, der «Politeia», dass die Dichter sich an das Wahrscheinliche, den «Common Sense», das Realistische, zu halten haben, so Horaz in seiner «Ars poetica», um glaubwürdig zu sein, dass die Fiktion auch wahr ist, so Bodmer und Breitinger im 18. Jahrhundert, und und und … Wieso also noch einmal dieses Thema? Weil die Frage nach dem Verhältnis der Literatur zur Wahrheit und die Erkenntnis, die der Leser, die Leserin für sich gewinnen kann, komplizierter und komplexer sind, als es die Theorie einen glauben lassen will. Und so wird sich der Vortrag auf Spurensuche nach der jeweils spezifischen Wahrheit und spezifischen Erkenntnis exemplarisch ausgewählter literarischer Texte machen. Ihnen allen gemeinsam ist der thematische Bezugspunkt der Flucht. Das Auf-der-Flucht-Sein ist eine existentielle Erfahrung des Menschen, die nicht zwingend konkret, physisch wie psychisch, mit Flucht und Emigration aus einem Land, das man als Heimat ansieht oder angesehen hat, und Immigration in ein Land, das fremd ist oder fremd scheint und fremd wirkt, zu tun hat, sondern mit dem Mangel des Menschen an Obdach, des Menschen konkret und ganz generell. Das immer wieder bewusst zu machen und für den Leser nachvollziehbar zu erzählen, ist eine der vielen möglichen Wahrheiten, die Literatur offenbar macht

Goethes «Trilogie der Leidenschaft»

In einer biographisch-philologischen Lektüre von Goethes Trilogie der Leidenschaft (1827) wird die dichterische Verarbeitung von Leiderfahrungen als mögliche Strategie ihrer Bewältigung untersucht. Wegleitend sind dabei die in Psychoanalyse und Literaturwissenschaft diskutierten Fragen, wie ein Mensch in der Retrospektive ein angemessenes Verhältnis zu eigenem Leid entwickeln kann, ob und wie es Goethe gelingt, durch die literarische Verarbeitung von persönlichen Enttäuschungen und Verletzungen zu einer versöhnlich-souveränen Haltung zur eigenen Vergangenheit zu gelangen, welches die ad­äquate Form der Darstellung von Leid ist, und inwiefern durch literarische Verdichtung Individuelles und Persönliches transzendiert und als Allgemeines mitteilbar gemacht werden kann

Das Gesunde und Kranke in der Literatur. Robert Musil und die Krise der Moderne

Musil stellt in seinem Essay Das Unanständige und Kranke in der Kunst von 1911 die These auf, dass Kunst zwar als psychisch krank Geltendes zum Ausgangspunkt wählen könne, das Dargestellte jedoch weder unanständig noch krank sei. Mit dieser These provoziert Musil im zeitgenössischen Kontext zweifach: Die Grenzen zwischen «psychisch krank» und «psychisch gesund» werden – zumindest in der Kunst und Literatur – irrelevant. Ja, mehr noch: Kunst (Literatur) transformiert, was in Wissenschaft (Soziologie, Psychologie/Psychopathologie/Psychiatrie, Jurisprudenz) und Gesellschaft als psychisch krank gilt, in etwas, das jenseits der Dichotomie von «krank» und «gesund» liegt und sich insofern arbiträren Beurteilungen («entweder» – «oder») entzieht. Gerade im psychisch Kranken, der anders denkt, anders fühlt, anders wahrnimmt und anders handelt als die Norm, in seiner Alterität steckt für Musil ein Entwicklungspotential des Menschen, das die normierte und normierende Gesellschaft ignoriert und/oder aus Angst vor dem Unbekannten ausgrenzt, indem sie es moralisch verurteilt und kriminalisiert. Insofern ist das erkenntnisleitende Interesse Musils im Essay genuin ethisch; der Erkenntnisgewinn besteht Musil zufolge in der Pluralität von Optionen im Denken, Fühlen und Handeln. Provokant ist nicht nur Musils These selbst, sondern auch und sogar noch provokanter ist der Testfall, an dem Musil seine These exemplifiziert: dem des Sexualmörders Moosbrugger im Mann ohne Eigenschaften. Während beispielsweise ein Psychologe Urteile über den psychischen Zustand eines Menschen eindeutig, das heisst nicht arbiträr und damit wissenschaftlich valide, trifft oder – so Musil – eher meint treffen zu können, beginnen diese im Medium der Literatur, als Dargestelltes, zu oszillieren. Vorliegender Beitrag analysiert Musils Argumentation im Essay mit Bezug auf den Testfall Moosbrugger im Kontext der zeitgenössischen Psychologie und Psychiatrie, zeigt, worin die Spezifik von Musils in seinem Essay formulierte These besteht, und erörtert ihre Validität sowie die Folgen für die Kunst