E-Fast & CloudPower: Towards High Performance Technical Analysis for Small Investors

International audienceAbout 80% of the financial market investors fail, the main reason for this being their poor investment decisions. Without advanced financial analysis tools and the knowledge to interpret the analysis, the investors can easily make irrational investment decisions. Moreover, investors are challenged by the dynamism of the market and a relatively large number of indicators that must be computed. In this paper we propose E-Fast, an innovative approach for on-line technical analysis for helping small investors to obtain a greater e on the market by increasing their knowledge. The E-Fast technical analysis platform prototype relies on High Performance Computing (HPC), allowing to rapidly develop and extensively validate the most sophisticated finance analysis algorithms. In this work, we aim at demonstrating that the E-Fast implementation , based on the CloudPower HPC infrastructure, is able to provide small investors a realistic, low-cost and secure service that would otherwise be available only to the large financial institutions. We describe the architecture of our system and provide design insights. We present the results obtained with a real service implementation based on the Exponential Moving Average computational method, using CloudPower and Grid5000 for the computations' acceleration. We also elaborate a set of interesting challenges emerging from this work, as next steps towards high performance technical analysis for small investors

Counting and Sampling Directed Acyclic Graphs for Learning Bayesian Networks

Bayesian networks are probabilistic models that represent dependencies between random variables via directed acyclic graphs (DAGs). They provide a succinct representation for the joint distribution in cases where the dependency structure is sparse. Specifying the network by hand is often unfeasible, and thus it would be desirable to learn the model from observed data over the variables. In this thesis, we study computational problems encountered in different approaches to learning Bayesian networks. All of the problems involve counting or sampling DAGs under various constraints. One important computational problem in the fully Bayesian approach to structure learning is the problem of sampling DAGs from the posterior distribution over all the possible structures for the Bayesian network. From the typical modeling assumptions it follows that the distribution is modular, which means that the probability of each DAG factorizes into per-node weights, each of which depends only on the parent set of the node. For this problem, we give the first exact algorithm with a time complexity bound exponential in the number of nodes, and thus polynomial in the size of the input, which consists of all the possible per-node weights. We also adapt the algorithm such that it outperforms the previous methods in the special case of sampling DAGs from the uniform distribution. We also study the problem of counting the linear extensions of a given partial order, which appears as a subroutine in some importance sampling methods for modular distributions. This problem is a classic example of a #P-complete problem that can be approximately solved in polynomial time by reduction to sampling linear extensions uniformly at random. We present two new randomized approximation algorithms for the problem. The first algorithm extends the applicable range of an exact dynamic programming algorithm by using sampling to reduce the given instance into an easier instance. The second algorithm is obtained by combining a novel, Markov chain-based exact sampler with the Tootsie Pop algorithm, a recent generic scheme for reducing counting into sampling. Together, these two algorithms speed up approximate linear extension counting by multiple orders of magnitude in practice. Finally, we investigate the problem of counting and sampling DAGs that are Markov equivalent to a given DAG. This problem is important in learning causal Bayesian networks, because distinct Markov equivalent DAGs cannot be distinguished only based on observational data, yet they are different from the causal viewpoint. We speed up the state-of-the-art recursive algorithm for the problem by using dynamic programming. We also present a new, tree decomposition-based algorithm, which runs in linear time if the size of the maximum clique is bounded.Bayes-verkot mallintavat satunnaismuuttujien välisiä tilastollisia suhteita suunnattuina syklittöminä verkkoina, joissa solmut vastaavat satunnaismuuttujia ja kaaret niiden välisiä riippuvuuksia. Verkkorakenne havainnollistaa muuttujien kuvaaman ilmiön rakennetta ja mahdollistaa muuttujien yhteisjakauman esittämisen tiiviissä muodossa. Vaikka Bayes-verkko voidaan periaatteessa rakentaa käsin, se on epäkäytännöllistä, mikäli muuttujia on paljon tai mallinnettavaa ilmiötä ei ymmärretä täydellisesti. Tämän takia on hyödyllistä oppia verkon rakenne ilmiöstä kerätyn datan perusteella. Väitöskirjassa tutkitaan laskennallisia ongelmia, jotka liittyvät Bayes-verkon rakenteen oppimiseen. Kaikki nämä ongelmat koskevat suunnattujen syklittömien verkkojen laskemista tai satunnaisotantaa erilaisilla rajoitteilla. Yksi keskeinen ongelma Bayes-verkon rakenteen oppimisessa on rakenteen poiminta posteriorisatunnaisjakaumasta, joka painottaa parhaiten dataa vastaavia rakenteita. Väitöskirjassa esitellään tähän ongelmaan ensimmäinen eksakti algoritmi, joka hyödyntämällä posteriorijakauman erityisominaisuuksia saavuttaa polynomisen aikavaativuuden suhteessa jakauman määrittelevän tietorakenteen kokoon. Algoritmi tarjoaa myös aiempia algoritmeja tehokkaamman tavan suunnattujen syklittömien verkkojen poimintaan tasajakaumasta. Toinen väitöskirjassa tutkittu ongelma on osittaisjärjestyksen lineaariekstensioiden laskenta. Tämä ongelma tiedetään kuuluvaksi vaikeiden laskentaongelmien #P-luokkaan, mutta se voidaan silti ratkaista likimäärisesti polynomisessa ajassa palauttamalla se vastaavaan satunnaisotantaongelmaan. Väitöskirja esittelee kaksi uutta likimääräistä satunnaisalgoritmia lineaariekstensioiden laskentaan. Ensimmäinen algoritmi muuttaa tunnetun eksaktin laskenta-algoritmin likimääräiseksi yhdistämällä siihen satunnaisotokseen perustuvaa arviointia. Toinen algoritmi palauttaa laskentaongelman uuteen Markovin ketjuihin perustuvan satunnaisotantamenetelmään. Yhdessä nämä kaksi algoritmia nopeuttavat käytännön tapauksissa likimääräistä lineaariekstensioiden laskentaa usealla kertaluokalla. Työn loppuosassa tutkitaan tietyssä Markov-ekvivalenssiluokassa olevien suunnattujen syklittömien verkkojen laskenta- ja satunnaisotantaongelmia. Ongelma on tärkeä Bayes-verkkojen käytössä kausaalisten riippuvuuksien mallintamiseen, koska Markov-ekvivalentteja rakenteita ei voi erottaa pelkästään havaintodatan perusteella, vaikka ne ovat kausaalisesta näkökulmasta erilaisia. Työssä esitellään tapa nopeuttaa parasta tunnettua algoritmia dynaamisen ohjelmoinnin avulla. Tämän lisäksi väitöskirja esittelee uuden verkon puuhajotelmaan perustuvan menetelmän, jonka aikavaativuus on lineaarinen, mikäli verkon suurimman klikin koko on rajoitettu

Programming Languages and Systems

This open access book constitutes the proceedings of the 29th European Symposium on Programming, ESOP 2020, which was planned to take place in Dublin, Ireland, in April 2020, as Part of the European Joint Conferences on Theory and Practice of Software, ETAPS 2020. The actual ETAPS 2020 meeting was postponed due to the Corona pandemic. The papers deal with fundamental issues in the specification, design, analysis, and implementation of programming languages and systems

LIPIcs, Volume 274, ESA 2023, Complete Volume

LIPIcs, Volume 274, ESA 2023, Complete Volum