RETURNN as a Generic Flexible Neural Toolkit with Application to Translation and Speech Recognition

We compare the fast training and decoding speed of RETURNN of attention models for translation, due to fast CUDA LSTM kernels, and a fast pure TensorFlow beam search decoder. We show that a layer-wise pretraining scheme for recurrent attention models gives over 1% BLEU improvement absolute and it allows to train deeper recurrent encoder networks. Promising preliminary results on max. expected BLEU training are presented. We are able to train state-of-the-art models for translation and end-to-end models for speech recognition and show results on WMT 2017 and Switchboard. The flexibility of RETURNN allows a fast research feedback loop to experiment with alternative architectures, and its generality allows to use it on a wide range of applications.Comment: accepted as demo paper on ACL 201

Language Modeling with Deep Transformers

We explore deep autoregressive Transformer models in language modeling for speech recognition. We focus on two aspects. First, we revisit Transformer model configurations specifically for language modeling. We show that well configured Transformer models outperform our baseline models based on the shallow stack of LSTM recurrent neural network layers. We carry out experiments on the open-source LibriSpeech 960hr task, for both 200K vocabulary word-level and 10K byte-pair encoding subword-level language modeling. We apply our word-level models to conventional hybrid speech recognition by lattice rescoring, and the subword-level models to attention based encoder-decoder models by shallow fusion. Second, we show that deep Transformer language models do not require positional encoding. The positional encoding is an essential augmentation for the self-attention mechanism which is invariant to sequence ordering. However, in autoregressive setup, as is the case for language modeling, the amount of information increases along the position dimension, which is a positional signal by its own. The analysis of attention weights shows that deep autoregressive self-attention models can automatically make use of such positional information. We find that removing the positional encoding even slightly improves the performance of these models.Comment: To appear in the proceedings of INTERSPEECH 201

Public Reason and Teaching Science in a Multicultural World: a Comment on Cobern and Loving: "An Essay for Educators ' in the Light of John Rawls' Political Philosophy

This is a comment on the article "An Essay for Educators: Epistemological Realism Really is Common Sense” written by Cobern and Loving in Science & Education. The skillful analysis of the two authors concerning the problematic role of scientism in school science is fully appreciated, as is their diagnosis that it is scientism not universal scientific realism which is the cause of epistemological imperialism. But how should science teachers deal with scientism in the concrete every day situation of the science classroom and in contact with classes and students? John Rawls' concept of public reason offers three "cardinal strategies” to achieve this aim: proviso, declaration and conjecture. The theoretical framework is provided, the three strategies are described and their relevance is fleshed out in a concrete exampl

Improved training of end-to-end attention models for speech recognition

Sequence-to-sequence attention-based models on subword units allow simple open-vocabulary end-to-end speech recognition. In this work, we show that such models can achieve competitive results on the Switchboard 300h and LibriSpeech 1000h tasks. In particular, we report the state-of-the-art word error rates (WER) of 3.54% on the dev-clean and 3.82% on the test-clean evaluation subsets of LibriSpeech. We introduce a new pretraining scheme by starting with a high time reduction factor and lowering it during training, which is crucial both for convergence and final performance. In some experiments, we also use an auxiliary CTC loss function to help the convergence. In addition, we train long short-term memory (LSTM) language models on subword units. By shallow fusion, we report up to 27% relative improvements in WER over the attention baseline without a language model.Comment: submitted to Interspeech 201

Häufige Krankheiten – modern behandelt: Epilepsie

In der Antike galt die Epilepsie als «heilige Krankheit», doch bereits die Hippokratiker erkannten ihren Ursprung im Körper. Im Mittelalter wurde die Epilepsie als dämonische Besessenheit gesehen. Erst in der Neuzeit setzte sich allmählich die Erkenntnis durch, dass sie eine natürliche Ursache hat – freilich ohne dass man zunächst etwas dagegen tun konnte

Die Einstellung von zukünftigen Lehrpersonen zum Impfen vor und nach einer Informationsveranstaltung

Zusammenfassung: Hintergrund: Seit Jahren tobt eine heftige gesellschaftliche Debatte um die Nützlichkeit bzw. Schädlichkeit von Impfungen. Das Ergebnis ist eine zunehmende Impfmüdigkeit in der Bevölkerung, die in der Medizin mit Besorgnis gesehen wird. Ziel: Die vorliegende Arbeit untersucht, ob die Vermittlung von konzeptionellem biomedizinischem Wissen junge Erwachsene in die Lage versetzt, verbreitete Impfmythen als solche zu erkennen und zurückzuweisen. Das Projekt nutzte eine Gesundheitswoche an einer pädagogischen Hochschule. Die Einstellung der Studierenden zum Impfen wurde vor und nach einer gezielten Intervention mit Hilfe eines Fragebogens untersucht. Ergebnis: Die Resultate zeigen, dass sich die Stellungnahmen der Studierenden zu je 7 Aussagen eines Impfbefürworters und eines Impfgegners hoch signifikant verändern. Die Vermittlung von konzeptuellem, biomedizinischem Wissen kann also einen Einfluss auf die Gesundheitskompetenz von Adoleszenten und jugendlichen Erwachsenen haben. Auch in der Gesundheitsförderung und Prävention sollten daher wissensdidaktischen Fragen größere Aufmerksamkeit gewidmet werde

The role of empathy for learning in complex Science|Environment|Health contexts

This is the final version. Available on open access from Taylor & Francis via the DOI in this recordRecent research on motivation to learn science shows that science teaching usually supports students’ systemising, but not their empathising cognition. In this paper we argue that empathy, with due caution, should be emphasised in science learning more seriously and consistently, particularly in a Science|Environment|Health pedagogy that aims at fostering the mutual benefit between the three interlinked educational fields. After briefly recapitulating research results about the empathising-systemising (E-S) theory and motivation to learn science, the paper describes the science of empathy and then reflects on the opportunities and challenges of introducing empathy into science teaching. Many studies of effective science learning can be found that involve empathising, though this usually is not made explicit. Thus, bringing empathy into play sheds another light on successful science learning and helps in unfolding its full potential. Moreover, considerations about the role of values in science education entail the insight that, when it comes to complex socio-scientific issues, including empathy is not only useful, but actually vital. The concept of reflective equilibrium, taken from applied ethics, provides a framework for the consideration of both systematic and empathic aspects in science teaching. This undervalued approach promises to involve all students and is therefore a genuine science for all approach

Gesundheitsbildung und naturwissenschaftlicher Unterricht: Eine Win-win-Situation

Zusammenfassung: Hintergrund: Gesundheitsbildung und naturwissenschaftlicher Unterricht werden in der Schule auf allen Stufen noch wenig in Zusammenhang gebracht. Das Konzept der Gesundheitskompetenz (Health Literacy) schafft einen starken Bezug zum naturwissenschaftlichen Unterricht und eröffnet so die Chance, die in den vergangenen Jahrzehnten kulturell und historisch gewachsene Kluft zur Gesundheitsförderung zu schließen. Ziel: Die vorliegende Arbeit untersucht mit einer Literaturrecherche in wichtigen Zeitschriften zur naturwissenschaftsdidaktischen Forschung, welche Ansätze der Zusammenschau dieser beiden Bildungsfelder bereits erkennbar sind. Ergebnis: Obwohl der Begriff der Gesundheitskompetenz in der didaktischen Forschung noch nicht aufgenommen worden ist, zeigt die Vielzahl empirischer Arbeiten, die Gesundheitsfragen thematisieren, eine Win-win-Situation zwischen Gesundheitsbildung und naturwissenschaftlichem Unterricht. In der Praxis kann einerseits der naturwissenschaftliche Unterricht vom Interesse der Schüler an gesundheitlichen und medizinischen Themen profitieren, während andererseits die Gesundheitsbildung besonders von der langen empirischen Tradition der Naturwissenschaftsdidaktik profitieren kan

Wie entscheiden sich Schülerinnen für oder gegen eine HPV-Impfung?

Zusammenfassung: Hintergrund: 2007 wurde die HPV- ("human papilloma virus-")Impfung in der Schweiz eingeführt und in der Stadt Zürich mittels einer Impfaktion des Schulärztlichen Dienstes 2008 allen Schülerinnen zwischen 11 und 16Jahren gratis angeboten. Danach impft der Schulärztliche Dienst im Rahmen einer Schulärztlichen Untersuchung in der 6. Und 8. Klasse. Die HPV-Impfung ist in der Schweiz umstritten und wird nicht selten, v.a. von impfkritischen Eltern, als überflüssig kritisiert. Ziel: Das Ziel der vorgestellten Studie war zu ermitteln, wie 13- bis 15-jährige Schülerinnen die Entscheidung für oder gegen die Impfung treffen, und von welchen Akteuren sie in ihrer Entscheidungsfindung beeinflusst werden. Ergebnis: Der größte Einflussfaktor bei der Entscheidung für oder gegen die Impfung sind die Eltern, insbesondere die Mütter der Schülerinnen. Diese sind ihrerseits von Frauen- und Kinderärzten beeinflusst. Die Medien, die Lehrpersonen sowie die Peers spielen eine eher untergeordnete Rolle. Insgesamt zeigen viele Akteure eine impfkritische Einstellung, die aber nur teilweise ausgesprochen wird. Um eine bessere Akzeptanz zu erreichen, müsste deshalb ein ganzheitlicher Entscheidungsprozess in den Schulen angestrebt werden, der alle Akteure mit einbezieh