Building Efficient Query Engines in a High-Level Language

Abstraction without regret refers to the vision of using high-level programming languages for systems development without experiencing a negative impact on performance. A database system designed according to this vision offers both increased productivity and high performance, instead of sacrificing the former for the latter as is the case with existing, monolithic implementations that are hard to maintain and extend. In this article, we realize this vision in the domain of analytical query processing. We present LegoBase, a query engine written in the high-level language Scala. The key technique to regain efficiency is to apply generative programming: LegoBase performs source-to-source compilation and optimizes the entire query engine by converting the high-level Scala code to specialized, low-level C code. We show how generative programming allows to easily implement a wide spectrum of optimizations, such as introducing data partitioning or switching from a row to a column data layout, which are difficult to achieve with existing low-level query compilers that handle only queries. We demonstrate that sufficiently powerful abstractions are essential for dealing with the complexity of the optimization effort, shielding developers from compiler internals and decoupling individual optimizations from each other. We evaluate our approach with the TPC-H benchmark and show that: (a) With all optimizations enabled, LegoBase significantly outperforms a commercial database and an existing query compiler. (b) Programmers need to provide just a few hundred lines of high-level code for implementing the optimizations, instead of complicated low-level code that is required by existing query compilation approaches. (c) The compilation overhead is low compared to the overall execution time, thus making our approach usable in practice for compiling query engines

Law and Orders: The Problem of Presidental Legislation

Kostnaden för att bygga hus stiger mer än kostnaden för vanliga konsumtionsprodukter vilket leder till allt dyrare hus. En anledning till detta är att byggprocessen inte hänger med i utvecklingen och att äldre metoder fortfarande används. För att få ett effektivare byggande behöver metoderna därför utvecklas eller nya metoder behöver träda fram, ett exempel på en ny metod är tredjepartslogistik som fler och fler byggföretag använder sig av. I denna rapport får du läsa om företaget Arcona AB (Arcona) som samarbetar med logistikföretaget Servistik och som vill undersöka hur arbetarnas attityd är till logistikkonceptet som Arcona använder sig av. Ett projekt, Bryggmästaren, är undersökt i det här arbetet och det är en ombyggnation från kontor till hotell i Stockholm city. Anledningen till att Arcona hade intresse av en attitydundersökning av deras koncept var för att de vill få fram information till möjliga förbättringar, för att se om företaget är på rätt spår med konceptet och för att se hur redan gjorda förändringar har påverkat arbetet på byggarbetsplatsen. Logistikkonceptet kan sammanfattas enligt följande. Lagbasarna på byggarbetsplatsen beställer material från olika grossister. Det beställda materialet levereras till Servistiks lager och tas emot, inspekteras och lagras. När materialet behövs på byggarbetsplatsen gör lagbasarna avrop till Servistiks lager som i sin tur packar ihop ordern och levererar det till byggarbetsplatsen. Väl framme lastar Servistiks personal av material och distribuerar runt det på byggarbetsplatsen. Leveranstiden från att avropet har gjorts till det att materialet är på plats på bygget är 3 dagar. Studien har baserats på intervjuer som har gjorts med Arconas egen personal och med underentreprenörer som har arbetat för Arcona på projektet Bryggmästaren. Åtta stycken intervjuer har gjorts på Arconas platskontor på Bryggmästaren varav en var via telefon. De intervjuade var platschefer, projektchefer, produktionsledare, projektingenjörer, lagbas och underentreprenör. Samtliga av respondenterna är positivt inställda till logistikkonceptet som Arcona driver i samarbete med Servistik. De tycker att det är en bra idé och att det låter bra i teorin men de menar också på att ifall det ska fungera så behövs det en viss utveckling eller förändring av konceptet för att det även ska gå att tillämpas i praktiken på ett framgångsrikt sätt. Ett antal förbättringsförslag som dyker upp är: Leveranstiden från lagret behöver minskas för att göra konceptet lite mer flexibelt. Materialkunskapen hos Servistiks personal behöver förbättras så att de har mer koll på vad som exakt kommer in till deras lager. Internetsidan för lagret som visar materialstatus på lagret måste förenklas så att allt ska gå smidigare

Parametrized Stochastic Grammars for RNA Secondary Structure Prediction

We propose a two-level stochastic context-free grammar (SCFG) architecture for parametrized stochastic modeling of a family of RNA sequences, including their secondary structure. A stochastic model of this type can be used for maximum a posteriori estimation of the secondary structure of any new sequence in the family. The proposed SCFG architecture models RNA subsequences comprising paired bases as stochastically weighted Dyck-language words, i.e., as weighted balanced-parenthesis expressions. The length of each run of unpaired bases, forming a loop or a bulge, is taken to have a phase-type distribution: that of the hitting time in a finite-state Markov chain. Without loss of generality, each such Markov chain can be taken to have a bounded complexity. The scheme yields an overall family SCFG with a manageable number of parameters.Comment: 5 pages, submitted to the 2007 Information Theory and Applications Workshop (ITA 2007