43,561 research outputs found

    Building Efficient Query Engines in a High-Level Language

    Get PDF
    Abstraction without regret refers to the vision of using high-level programming languages for systems development without experiencing a negative impact on performance. A database system designed according to this vision offers both increased productivity and high performance, instead of sacrificing the former for the latter as is the case with existing, monolithic implementations that are hard to maintain and extend. In this article, we realize this vision in the domain of analytical query processing. We present LegoBase, a query engine written in the high-level language Scala. The key technique to regain efficiency is to apply generative programming: LegoBase performs source-to-source compilation and optimizes the entire query engine by converting the high-level Scala code to specialized, low-level C code. We show how generative programming allows to easily implement a wide spectrum of optimizations, such as introducing data partitioning or switching from a row to a column data layout, which are difficult to achieve with existing low-level query compilers that handle only queries. We demonstrate that sufficiently powerful abstractions are essential for dealing with the complexity of the optimization effort, shielding developers from compiler internals and decoupling individual optimizations from each other. We evaluate our approach with the TPC-H benchmark and show that: (a) With all optimizations enabled, LegoBase significantly outperforms a commercial database and an existing query compiler. (b) Programmers need to provide just a few hundred lines of high-level code for implementing the optimizations, instead of complicated low-level code that is required by existing query compilation approaches. (c) The compilation overhead is low compared to the overall execution time, thus making our approach usable in practice for compiling query engines

    Law and Orders: The Problem of Presidental Legislation

    Get PDF
    Kostnaden för att bygga hus stiger mer Ă€n kostnaden för vanliga konsumtionsprodukter vilket leder till allt dyrare hus. En anledning till detta Ă€r att byggprocessen inte hĂ€nger med i utvecklingen och att Ă€ldre metoder fortfarande anvĂ€nds. För att fĂ„ ett effektivare byggande behöver metoderna dĂ€rför utvecklas eller nya metoder behöver trĂ€da fram, ett exempel pĂ„ en ny metod Ă€r tredjepartslogistik som fler och fler byggföretag anvĂ€nder sig av. I denna rapport fĂ„r du lĂ€sa om företaget Arcona AB (Arcona) som samarbetar med logistikföretaget Servistik och som vill undersöka hur arbetarnas attityd Ă€r till logistikkonceptet som Arcona anvĂ€nder sig av. Ett projekt, BryggmĂ€staren, Ă€r undersökt i det hĂ€r arbetet och det Ă€r en ombyggnation frĂ„n kontor till hotell i Stockholm city. Anledningen till att Arcona hade intresse av en attitydundersökning av deras koncept var för att de vill fĂ„ fram information till möjliga förbĂ€ttringar, för att se om företaget Ă€r pĂ„ rĂ€tt spĂ„r med konceptet och för att se hur redan gjorda förĂ€ndringar har pĂ„verkat arbetet pĂ„ byggarbetsplatsen. Logistikkonceptet kan sammanfattas enligt följande. Lagbasarna pĂ„ byggarbetsplatsen bestĂ€ller material frĂ„n olika grossister. Det bestĂ€llda materialet levereras till Servistiks lager och tas emot, inspekteras och lagras. NĂ€r materialet behövs pĂ„ byggarbetsplatsen gör lagbasarna avrop till Servistiks lager som i sin tur packar ihop ordern och levererar det till byggarbetsplatsen. VĂ€l framme lastar Servistiks personal av material och distribuerar runt det pĂ„ byggarbetsplatsen. Leveranstiden frĂ„n att avropet har gjorts till det att materialet Ă€r pĂ„ plats pĂ„ bygget Ă€r 3 dagar. Studien har baserats pĂ„ intervjuer som har gjorts med Arconas egen personal och med underentreprenörer som har arbetat för Arcona pĂ„ projektet BryggmĂ€staren. Åtta stycken intervjuer har gjorts pĂ„ Arconas platskontor pĂ„ BryggmĂ€staren varav en var via telefon. De intervjuade var platschefer, projektchefer, produktionsledare, projektingenjörer, lagbas och underentreprenör. Samtliga av respondenterna Ă€r positivt instĂ€llda till logistikkonceptet som Arcona driver i samarbete med Servistik. De tycker att det Ă€r en bra idĂ© och att det lĂ„ter bra i teorin men de menar ocksĂ„ pĂ„ att ifall det ska fungera sĂ„ behövs det en viss utveckling eller förĂ€ndring av konceptet för att det Ă€ven ska gĂ„ att tillĂ€mpas i praktiken pĂ„ ett framgĂ„ngsrikt sĂ€tt. Ett antal förbĂ€ttringsförslag som dyker upp Ă€r: Leveranstiden frĂ„n lagret behöver minskas för att göra konceptet lite mer flexibelt. Materialkunskapen hos Servistiks personal behöver förbĂ€ttras sĂ„ att de har mer koll pĂ„ vad som exakt kommer in till deras lager. Internetsidan för lagret som visar materialstatus pĂ„ lagret mĂ„ste förenklas sĂ„ att allt ska gĂ„ smidigare

    Parametrized Stochastic Grammars for RNA Secondary Structure Prediction

    Full text link
    We propose a two-level stochastic context-free grammar (SCFG) architecture for parametrized stochastic modeling of a family of RNA sequences, including their secondary structure. A stochastic model of this type can be used for maximum a posteriori estimation of the secondary structure of any new sequence in the family. The proposed SCFG architecture models RNA subsequences comprising paired bases as stochastically weighted Dyck-language words, i.e., as weighted balanced-parenthesis expressions. The length of each run of unpaired bases, forming a loop or a bulge, is taken to have a phase-type distribution: that of the hitting time in a finite-state Markov chain. Without loss of generality, each such Markov chain can be taken to have a bounded complexity. The scheme yields an overall family SCFG with a manageable number of parameters.Comment: 5 pages, submitted to the 2007 Information Theory and Applications Workshop (ITA 2007
    • 

    corecore