The OTree: multidimensional indexing with efficient data sampling for HPC

Spatial big data is considered an essential trend in future scientific and business applications. Indeed, research instruments, medical devices, and social networks generate hundreds of petabytes of spatial data per year. However, many authors have pointed out that the lack of specialized frameworks for multidimensional Big Data is limiting possible applications and precluding many scientific breakthroughs. Paramount in achieving High-Performance Data Analytics is to optimize and reduce the I/O operations required to analyze large data sets. To do so, we need to organize and index the data according to its multidimensional attributes. At the same time, to enable fast and interactive exploratory analysis, it is vital to generate approximate representations of large datasets efficiently. In this paper, we propose the Outlook Tree (or OTree), a novel Multidimensional Indexing with efficient data Sampling (MIS) algorithm. The OTree enables exploratory analysis of large multidimensional datasets with arbitrary precision, a vital missing feature in current distributed data management solutions. Our algorithm reduces the indexing overhead and achieves high performance even for write-intensive HPC applications. Indeed, we use the OTree to store the scientific results of a study on the efficiency of drug inhalers. Then we compare the OTree implementation on Apache Cassandra, named Qbeast, with PostgreSQL and plain storage. Lastly, we demonstrate that our proposal delivers better performance and scalability.Peer ReviewedPostprint (author's final draft

Digital customer experience management in big data-driven marketing

Digitalisation has shaped the nature of business operations, and the focus of competition has shifted towards distinct and holistic customer experiences through data analysis. The substantial amount of big data compiled today extends the organisational opportunities by thorough execution of customer experience management, as various customer experience insights can be garnered from big data to embellish organisations’ extant strategies by expanding imperative data-driven operations and customer orientation. The aspiration for the thesis was to resolve how digital customer experience management in big data-driven marketing is executed, and thus connectively how big data analytics are used in big data-driven marketing and how big data-driven marketing is used for digital customer experience management. The thesis answers the call for descriptive scientific research that provides theoretical and practical development combining customer experience management and big data-driven marketing as research objects. The study was done as qualitative research. The theoretical framework worked as a process description divided into strategical planning and operational implementation by setting a direction and making choices to implement customer experience and comprehend the success of customer experience management to learn from it. The data were collected by conducting eight semi-structured thematic interviews with a purposeful sampling of professionals from considerable business management, marketing, and technology companies. Analysis was done with qualitative thematic analysis on NVivo. According to the research findings, continual big data analytics and data-driven marketing are the underlying driving forces for customer experience management that require clearly defined objectives and actions that can be measured and monitored to gain the necessary insights with data analytics. The capabilities of customer experience management necessitate comprehensive processes at the strategic and operational level, technology through data manoeuvrability, intelligence, and interpretation, as well as people who bring a strong and supportive organisational culture by understanding the value of customer experience for business growth and that they are responsible for it within their allocated roles in the process. Further, implementing customer experience happens by piloting on a smaller scale before moving towards larger target groups and thereafter maybe even modelling the concept into continuous use. Comprehensive management must be done systematically, in a structured manner so that it can be adhered to and documented. Moreover, customer experience management requires constant learning to renew customer experience by continually developing, maintaining, and repeating operations. The results of the study altogether support extant theory and research in many aspects. Still, this study provides a deeper practical look into the customer experience with the provided detailed process description. Significantly, customer experience management cannot be compromised since it is critical to the organisation's competitiveness in the 2020s to provide incredible and customised data-driven experiences whereby big data analytics and data-driven marketing play a crucial role when attracting, converting, and advocating customers.Digitalisaatio on muokannut liiketoiminnan luonnetta kilpailun painopisteen siirtyessä kohti erottuvaa ja kokonaisvaltaista asiakaskokemusta data-analyysin myötä. Nykyään kerätyn big datan huomattava määrä laajentaa organisaatioiden mahdollisuuksia perusteelliseen asiakaskokemuksen johtamiseen, sillä big datasta voidaan kerätä erilaisia ​​asiakaskokemusta koskevia oivalluksia, joilla voidaan täydentää organisaatioiden nykyisiä strategioita laajentamalla välttämättömiä dataan perustuvia toimintoja sekä asiakaslähtöisyyttä. Opinnäytetyön tavoitteena oli selvittää, miten digitaalinen asiakaskokemuksen johtaminen big dataohjatussa markkinoinnissa toteutetaan ja siten yhdistettynä, kuinka big data-analytiikkaa käytetään big dataohjautuvassa markkinoinnissa sekä vastaavasti, kuinka big dataohjautuvaa markkinointia käytetään digitaalisen asiakaskokemuksen johtamiseen. Opinnäytetyö vastaakin tieteenalan kehotukseen kuvailevasta tieteellisestä tutkimuksesta, joka tarjoaa teoreettista ja käytännöllistä kehitystä yhdistäen asiakaskokemuksen johtamisen ja big dataohjautuvan markkinoinnin tutkimuskohteina. Tutkimus tehtiin laadullisena tutkimuksena. Teoreettinen viitekehys toimi prosessikuvauksena, joka jakautui strategiseen suunnitteluun ja operatiiviseen toteutukseen asettamalla haluttu suunta ja tekemällä valintoja asiakaskokemuksen toteuttamiseksi ja ymmärtämiseksi. Aineisto kerättiin tekemällä kahdeksan puolistrukturoitua teemahaastattelua, joihin osallistui tarkoituksenmukaisesti valikoituja ammattilaisia liikkeenjohdon, markkinoinnin ja teknologian alan yrityksistä. Analyysi tehtiin kvalitatiivisella temaattisella analyysillä NVivossa. Tutkimustulosten mukaan jatkuva big data-analytiikka ja dataohjautuva markkinointi ovat asiakaskokemuksen johtamisen kantavia tekijöitä, jotka edellyttävät selkeästi määriteltyjä, mitattavia ja seurattavia tavoitteita ja toimia, jotta tarvittavat näkemykset data-analytiikalla ovat saavutettavissa. Asiakaskokemuksen johtamisen valmiudet edellyttävät kattavia prosesseja strategisella ja operatiivisella tasolla, teknologiaa datan ohjattavuuden, älykkyyden ja tulkinnan kautta sekä ihmisiä, jotka tuovat vahvan ja tukevan organisaatiokulttuurin ymmärtämällä asiakaskokemuksen arvon liiketoiminnan kasvulle ja sen, että he ovat vastuussa kokemuksesta omissa rooleissaan prosessin aikana. Lisäksi asiakaskokemuksen toteuttaminen tapahtuu pilotoimalla pienemmässä mittakaavassa ennen kuin siirrytään suurempiin kohderyhmiin ja sen jälkeen ehkä jopa mallintamalla konsepti jatkuvaan käyttöön. Kokonaisvaltainen johtaminen on myös tehtävä järjestelmällisesti ja jäsennellysti, jotta sitä voidaan noudattaa ja dokumentoida jatkoa varten. Asiakaskokemuksen johtaminen edellyttääkin jatkuvaa oppimista asiakaskokemuksen uudistamiseksi kehittämällä, ylläpitämällä ja toistamalla toimintoja jatkuvasti. Tutkimuksen tulokset tukevat kaiken kaikkiaan olemassa olevaa teoriaa ja tutkimusta monilta osin, mutta ennen kaikkea tämä tutkimus tarjoaa yksityiskohtaisella prosessikuvauksella syvemmän käytännön katsauksen asiakaskokemukseen. Asiakaskokemuksen johtamisessa ei voida tinkiä, sillä organisaation kilpailukyvyn kannalta 2020-luvulla on ratkaisevan tärkeää tarjota uskomattomia ja räätälöityjä dataohjautuvia kokemuksia, joissa big data-analytiikka ja dataohjautuva markkinointi ovat ratkaisevassa asemassa asiakkaiden houkuttelemisessa, käännyttämisessä ja kannattamisessa

A distributed-memory package for dense Hierarchically Semi-Separable matrix computations using randomization

We present a distributed-memory library for computations with dense structured matrices. A matrix is considered structured if its off-diagonal blocks can be approximated by a rank-deficient matrix with low numerical rank. Here, we use Hierarchically Semi-Separable representations (HSS). Such matrices appear in many applications, e.g., finite element methods, boundary element methods, etc. Exploiting this structure allows for fast solution of linear systems and/or fast computation of matrix-vector products, which are the two main building blocks of matrix computations. The compression algorithm that we use, that computes the HSS form of an input dense matrix, relies on randomized sampling with a novel adaptive sampling mechanism. We discuss the parallelization of this algorithm and also present the parallelization of structured matrix-vector product, structured factorization and solution routines. The efficiency of the approach is demonstrated on large problems from different academic and industrial applications, on up to 8,000 cores. This work is part of a more global effort, the STRUMPACK (STRUctured Matrices PACKage) software package for computations with sparse and dense structured matrices. Hence, although useful on their own right, the routines also represent a step in the direction of a distributed-memory sparse solver

From Theory to Practice: Plug and Play with Succinct Data Structures

Engineering efficient implementations of compact and succinct structures is a time-consuming and challenging task, since there is no standard library of easy-to- use, highly optimized, and composable components. One consequence is that measuring the practical impact of new theoretical proposals is a difficult task, since older base- line implementations may not rely on the same basic components, and reimplementing from scratch can be very time-consuming. In this paper we present a framework for experimentation with succinct data structures, providing a large set of configurable components, together with tests, benchmarks, and tools to analyze resource requirements. We demonstrate the functionality of the framework by recomposing succinct solutions for document retrieval.Comment: 10 pages, 4 figures, 3 table