Multilingual Models for Compositional Distributed Semantics

We present a novel technique for learning semantic representations, which extends the distributional hypothesis to multilingual data and joint-space embeddings. Our models leverage parallel data and learn to strongly align the embeddings of semantically equivalent sentences, while maintaining sufficient distance between those of dissimilar sentences. The models do not rely on word alignments or any syntactic information and are successfully applied to a number of diverse languages. We extend our approach to learn semantic representations at the document level, too. We evaluate these models on two cross-lingual document classification tasks, outperforming the prior state of the art. Through qualitative analysis and the study of pivoting effects we demonstrate that our representations are semantically plausible and can capture semantic relationships across languages without parallel data.Comment: Proceedings of ACL 2014 (Long papers

"Not not bad" is not "bad": A distributional account of negation

With the increasing empirical success of distributional models of compositional semantics, it is timely to consider the types of textual logic that such models are capable of capturing. In this paper, we address shortcomings in the ability of current models to capture logical operations such as negation. As a solution we propose a tripartite formulation for a continuous vector space representation of semantics and subsequently use this representation to develop a formal compositional notion of negation within such models.Comment: 9 pages, to appear in Proceedings of the 2013 Workshop on Continuous Vector Space Models and their Compositionalit

Learning Bilingual Word Representations by Marginalizing Alignments

We present a probabilistic model that simultaneously learns alignments and distributed representations for bilingual data. By marginalizing over word alignments the model captures a larger semantic context than prior work relying on hard alignments. The advantage of this approach is demonstrated in a cross-lingual classification task, where we outperform the prior published state of the art.Comment: Proceedings of ACL 2014 (Short Papers

Distributed Representations for Compositional Semantics

The mathematical representation of semantics is a key issue for Natural Language Processing (NLP). A lot of research has been devoted to finding ways of representing the semantics of individual words in vector spaces. Distributional approaches --- meaning distributed representations that exploit co-occurrence statistics of large corpora --- have proved popular and successful across a number of tasks. However, natural language usually comes in structures beyond the word level, with meaning arising not only from the individual words but also the structure they are contained in at the phrasal or sentential level. Modelling the compositional process by which the meaning of an utterance arises from the meaning of its parts is an equally fundamental task of NLP. This dissertation explores methods for learning distributed semantic representations and models for composing these into representations for larger linguistic units. Our underlying hypothesis is that neural models are a suitable vehicle for learning semantically rich representations and that such representations in turn are suitable vehicles for solving important tasks in natural language processing. The contribution of this thesis is a thorough evaluation of our hypothesis, as part of which we introduce several new approaches to representation learning and compositional semantics, as well as multiple state-of-the-art models which apply distributed semantic representations to various tasks in NLP.Comment: DPhil Thesis, University of Oxford, Submitted and accepted in 201

A Deep Architecture for Semantic Parsing

Many successful approaches to semantic parsing build on top of the syntactic analysis of text, and make use of distributional representations or statistical models to match parses to ontology-specific queries. This paper presents a novel deep learning architecture which provides a semantic parsing system through the union of two neural models of language semantics. It allows for the generation of ontology-specific queries from natural language statements and questions without the need for parsing, which makes it especially suitable to grammatically malformed or syntactically atypical text, such as tweets, as well as permitting the development of semantic parsers for resource-poor languages.Comment: In Proceedings of the Semantic Parsing Workshop at ACL 2014 (forthcoming

The aqueous corrosion of borosilicate glasses studied in operando by in situ fluid-cell Raman spectroscopy

Die Eigenschaften von Gläsern hängen vor allem von deren chemischen Zusammensetzung ab und sind aufgrund der großen Zusammensetzungsvielfalt sehr variabel, was eine Vielzahl von Anwendungsmöglichkeiten eröffnet. Borosilikatgläser sind insbesondere wegen ihrer hohen chemischen Beständigkeit weit verbreitet. Sie werden beispielsweise zur Immobilisierung von hochradioaktiven Abfällen aus der Wiederaufbereitung von Brennelementen, oder als Behälterglas zur Lagerung von Chemikalien verwendet. Dort, wie auch in vielen weiteren technischen Anwendungsfällen, ist eine hohe chemische Beständigkeit wichtig, um eine Verschlechterung der Materialeigenschaften oder Verunreinigung von Behälterinhalten zu verhindern. Allerdings sind Gläser metastabil und anfällig für Korrosion in Kontakt mit wässrigen Lösungen oder Wasserdampf. Um eine optimale Glasauswahl für unterschiedliche Anwendungen zu treffen, bei der Entwicklung von neuen Gläsern eine hohe chemische Beständigkeit zu erreichen oder die Langzeitbeständigkeit belastbar zu simulieren, ist das Verständnis über den Korrosionsmechanismus, die zugrundeliegenden Reaktionen, die Transportprozesse sowie mögliche Rückkopplungen unerlässlich. Auch wenn Glaskorrosion bereits seit vielen Jahrzehnten untersucht wird, gibt es bisher keinen Konsens über einen allgemeingültigen Glaskorrosionsmechanismus, der alle Beobachtungen, insbesondere die Entstehung von komplexen chemischen und strukturellen Mustern in den Korrosionsprodukten, erklären kann. Die bedeutendsten Beobachtungen und die nach aktuellem Kenntnisstand wesentlichen Reaktionen, Prozesse und deren Abhängigkeiten, welche für Rückkopplungseffekte verantwortlich sind, insbesondere in Bezug auf das grenzflächengekoppelte Lösungs-Fällungs-Modell (interface-coupled dissolution-precipitation, ICDP), werden in dieser Arbeit dargelegt und diskutiert. Um den Korrosionsmechanismus und auch die Rückkopplungen zwischen Glasauflösung, Präzipitation von Korrosionssäumen sowie dem Transport von Stoffen zwischen Reaktionsfront und der Umgebungslösung im Kontakt mit der Probe experimentell zu untersuchen, wurde die in situ-Flüssigzellen-Raman-Spektroskopie angewendet, welche für Langzeitexperimente weiterentwickelt wurde. Mit dieser innovativen Anwendung der Raman-Spektroskopie ist es möglich, die Glaskorrosion in situ mit einer Mikrometerauflösung und in Echtzeit, in operando, zu untersuchen. Damit konnte erstmals die Korrosion von einem Referenzglas (International Simple Glass, ISG) in regelmäßigen Messsequenzen über mehrere Monate untersucht werden. Dabei wurde die Entstehung von kristallinen Korrosionsprodukten (Kosnarite) an der Oberfläche der in saurer Lösung korrodierten ISG-Probe und eine strukturelle Reifung eines Korrosionssaumes, der primär aus amorphem Kieselgel basiert, mit der Zeit beobachtet. Unter stark alkalischen Bedingungen in einer Carbonat-reichen Lösung konnte des Weiteren die Präzipitation von Zeolithen in operando beobachtet werden. Die Variation der chemischen Zusammensetzung und Struktur des Korrosionssaums zeigt, dass die hydrochemischen Bedingungen an der Reaktionsfront, wo das Korrosionsprodukt präzipitiert, dynamisch sein müssen. Des Weiteren wurden erstmals Korrosionsexperimente mit einem ternären Natrium-Borosilikatglas (TBG) unter Durchflussbedingungen in Kombination mit der in situ-Flüssigzellen-Raman-Spektroskopie durchgeführt. So konnten Abhängigkeit von der Lösungsaustauschrate und -zusammensetzung untersucht werden und die Entstehung mehrerer Lagen aus strukturell unterschiedlicher, amorpher Kieselerde erstmals in Echtzeit beobachtet werden. Ergänzend zu den experimentellen Untersuchungen wurde ein eindimensionales numerisches Reaktions-Transport-Modell mit der Finite Volumen-Methode entwickelt, das auf dem ICDP-Mechanismus basiert. Die räumliche Auflösung des Finite Volumen-Modells wurde bewusst an die Auflösung der In situ-Raman-Spektroskopie angepasst. So ist es möglich, die Ergebnisse aus den Experimenten und den numerischen Simulationen direkt miteinander zu vergleichen und beide Ansätze iterativ weiterzuentwickeln

Teaching Machines to Read and Comprehend

Teaching machines to read natural language documents remains an elusive challenge. Machine reading systems can be tested on their ability to answer questions posed on the contents of documents that they have seen, but until now large scale training and test datasets have been missing for this type of evaluation. In this work we define a new methodology that resolves this bottleneck and provides large scale supervised reading comprehension data. This allows us to develop a class of attention based deep neural networks that learn to read real documents and answer complex questions with minimal prior knowledge of language structure.Comment: Appears in: Advances in Neural Information Processing Systems 28 (NIPS 2015). 14 pages, 13 figure