14 research outputs found

    Reliable & Efficient Data Centric Storage for Data Management in Wireless Sensor Networks

    Get PDF
    Wireless Sensor Networks (WSNs) have become a mature technology aimed at performing environmental monitoring and data collection. Nonetheless, harnessing the power of a WSN presents a number of research challenges. WSN application developers have to deal both with the business logic of the application and with WSN's issues, such as those related to networking (routing), storage, and transport. A middleware can cope with this emerging complexity, and can provide the necessary abstractions for the definition, creation and maintenance of applications. The final goal of most WSN applications is to gather data from the environment, and to transport such data to the user applications, that usually resides outside the WSN. Techniques for data collection can be based on external storage, local storage and in-network storage. External storage sends data to the sink (a centralized data collector that provides data to the users through other networks) as soon as they are collected. This paradigm implies the continuous presence of a sink in the WSN, and data can hardly be pre-processed before sent to the sink. Moreover, these transport mechanisms create an hotspot on the sensors around the sink. Local storage stores data on a set of sensors that depends on the identity of the sensor collecting them, and implies that requests for data must be broadcast to all the sensors, since the sink can hardly know in advance the identity of the sensors that collected the data the sink is interested in. In-network storage and in particular Data Centric Storage (DCS) stores data on a set of sensors that depend on a meta-datum describing the data. DCS is a paradigm that is promising for Data Management in WSNs, since it addresses the problem of scalability (DCS employs unicast communications to manage WSNs), allows in-network data preprocessing and can mitigate hot-spots insurgence. This thesis studies the use of DCS for Data Management in middleware for WSNs. Since WSNs can feature different paradigms for data routing (geographical routing and more traditional tree routing), this thesis introduces two different DCS protocols for these two different kinds of WNSs. Q-NiGHT is based on geographical routing and it can manage the quantity of resources that are assigned to the storage of different meta-data, and implements a load balance for the data storage over the sensors in the WSN. Z-DaSt is built on top of ZigBee networks, and exploits the standard ZigBee mechanisms to harness the power of ZigBee routing protocol and network formation mechanisms. Dependability is another issue that was subject to research work. Most current approaches employ replication as the mean to ensure data availability. A possible enhancement is the use of erasure coding to improve the persistence of data while saving on memory usage on the sensors. Finally, erasure coding was applied also to gossiping algorithms, to realize an efficient data management. The technique is compared to the state-of-the-art to identify the benefits it can provide to data collection algorithms and to data availability techniques

    Big data analytics for large-scale wireless networks: Challenges and opportunities

    Full text link
    © 2019 Association for Computing Machinery. The wide proliferation of various wireless communication systems and wireless devices has led to the arrival of big data era in large-scale wireless networks. Big data of large-scale wireless networks has the key features of wide variety, high volume, real-time velocity, and huge value leading to the unique research challenges that are different from existing computing systems. In this article, we present a survey of the state-of-art big data analytics (BDA) approaches for large-scale wireless networks. In particular, we categorize the life cycle of BDA into four consecutive stages: Data Acquisition, Data Preprocessing, Data Storage, and Data Analytics. We then present a detailed survey of the technical solutions to the challenges in BDA for large-scale wireless networks according to each stage in the life cycle of BDA. Moreover, we discuss the open research issues and outline the future directions in this promising area

    Combining symbiotic simulation systems with enterprise data storage systems for real-time decision-making

    Get PDF
    This is the author accepted manuscript. The final version is available from Taylor & Francis via the DOI in this recordA symbiotic simulation system (S3) enables interactions between a physical system and its computational model representation. To support operational decisions, an S3 uses real-time data from the physical system, which is gathered via sensors and saved in an enterprise data storage system (EDSS). Both real-time and historical data are then used as inputs to the different components of an S3. This paper proposes a generic system architecture for an S3 and discusses its integration within EDSSs. The paper also reviews the literature on S3 and analyses how these systems can be used for real-time decision-making.Erasmus

    Data centric storage framework for an intelligent wireless sensor network

    Get PDF
    In the last decade research into Wireless Sensor Networks (WSN) has triggered extensive growth in flexible and previously difficult to achieve scientific activities carried out in the most demanding and often remote areas of the world. This success has provoked research into new WSN related challenges including finding techniques for data management, analysis, and how to gather information from large, diverse, distributed and heterogeneous data sets. The shift in focus to research into a scalable, accessible and sustainable intelligent sensor networks reflects the ongoing improvements made in the design, development, deployment and operation of WSNs. However, one of the key and prime pre-requisites of an intelligent network is to have the ability of in-network data storage and processing which is referred to as Data Centric Storage (DCS). This research project has successfully proposed, developed and implemented a comprehensive DCS framework for WSN. Range query mechanism, similarity search, load balancing, multi-dimensional data search, as well as limited and constrained resources have driven the research focus. The architecture of the deployed network, referred to as Disk Based Data Centric Storage (DBDCS), was inspired by the magnetic disk storage platter consisting of tracks and sectors. The core contributions made in this research can be summarized as: a) An optimally synchronized routing algorithm, referred to Sector Based Distance (SBD) routing for the DBDCS architecture; b) DCS Metric based Similarity Searching (DCSMSS) with the realization of three exemplar queries – Range query, K-nearest neighbor query (KNN) and Skyline query; and c) A Decentralized Distributed Erasure Coding (DDEC) algorithm that achieves a similar level of reliability with less redundancy. SBD achieves high power efficiency whilst reducing updates and query traffic, end-to-end delay, and collisions. In order to guarantee reliability and minimizing end-to-end latency, a simple Grid Coloring Algorithm (GCA) is used to derive the time division multiple access (TDMA) schedules. The GCA uses a slot reuse concept to minimize the TDMA frame length. A performance evaluation was conducted with simulation results showing that SBD achieves a throughput enhancement by a factor of two, extension of network life time by 30%, and reduced end-to-end latency. DCSMSS takes advantage of a vector distance index, called iDistance, transforming the issue of similarity searching into the problem of an interval search in one dimension. DCSMSS balances the load across the network and provides efficient similarity searching in terms of three types of queries – range query, k-query and skyline query. Extensive simulation results reveal that DCSMSS is highly efficient and significantly outperforms previous approaches in processing similarity search queries. DDEC encoded the acquired information into n fragments and disseminated across n nodes inside a sector so that the original source packets can be recovered from any k surviving nodes. A lost fragment can also be regenerated from any d helper nodes. DDEC was evaluated against 3-Way Replication using different performance matrices. The results have highlighted that the use of erasure encoding in network storage can provide the desired level of data availability at a smaller memory overhead when compared to replication

    2013 Doctoral Workshop on Distributed Systems

    Get PDF
    The Doctoral Workshop on Distributed Systems was held at Les Plans-sur-Bex, Switzerland, from June 26-28, 2013. Ph.D. students from the Universities of Neuchâtel and Bern as well as the University of Applied Sciences of Fribourg presented their current research work and discussed recent research results. This technical report includes the extended abstracts of the talks given during the workshop

    Cooperative Data Backup for Mobile Devices

    Get PDF
    Les dispositifs informatiques mobiles tels que les ordinateurs portables, assistants personnels et téléphones portables sont de plus en plus utilisés. Cependant, bien qu'ils soient utilisés dans des contextes où ils sont sujets à des endommagements, à la perte, voire au vol, peu de mécanismes permettent d'éviter la perte des données qui y sont stockées. Dans cette thèse, nous proposons un service de sauvegarde de données coopératif pour répondre à ce problème. Cette approche tire parti de communications spontanées entre de tels dispositifs, chaque dispositif stockant une partie des données des dispositifs rencontrés. Une étude analytique des gains de cette approche en termes de sûreté de fonctionnement est proposée. Nous étudions également des mécanismes de stockage réparti adaptés. Les problèmes de coopération entre individus mutuellement suspicieux sont également abordés. Enfin, nous décrivons notre mise en oeuvre du service de sauvegarde coopérative. ABSTRACT : Mobile devices such as laptops, PDAs and cell phones are increasingly relied on but are used in contexts that put them at risk of physical damage, loss or theft. However, few mechanisms are available to reduce the risk of losing the data stored on these devices. In this dissertation, we try to address this concern by designing a cooperative backup service for mobile devices. The service leverages encounters and spontaneous interactions among participating devices, such that each device stores data on behalf of other devices. We first provide an analytical evaluation of the dependability gains of the proposed service. Distributed storage mechanisms are explored and evaluated. Security concerns arising from thecooperation among mutually suspicious principals are identified, and core mechanisms are proposed to allow them to be addressed. Finally, we present our prototype implementation of the cooperative backup servic

    Computer-network Solutions for Pervasive Computing

    Get PDF
    Lo scenario delle reti di comunicazione di tipo wireless sta rapidamente evolvendo verso i sistemi pervasivi in cui i dispositivi wireless, di diversi tipi e grandezze, costituiscono parte integrante dell’ambiente in cui sono immersi, ed interagiscono continuamente ed in maniera trasparente con gli utenti che vi vivono o che lo attraversano. Si parla a tal proposito anche di ambienti intelligenti. Seguendo l’evoluzione dai sistemi mobili a quelli pervasivi, questa tesi rivisita diversi tipi di ambienti wireless che si sono sviluppati e diffusi negli ultimi 20 anni: a partire dalle wireless LANs, proseguendo con le reti ad hoc, per finire con le reti opportunistiche. Sebbene molte problematiche delle reti wireless si ripropongano in quasi tutti gli scenari (ad esempio il risparmio energetico), a scenari wireless diversi corrispondono in genere utilizzi differenti e diversi fabbisogni degli utenti, come pure problemi specifici che richiedono soluzioni dedicate. Alcune soluzioni specifiche sono analizzate e proposte in questa tesi. Le reti WLANs basate su infrastruttura sono usate generalmente per fornire accesso alla rete Internet ed infatti lo scenario che le comprende è solitamente riferito come Wireless Internet. Nonostante la presenza dell’infrastruttuta fissa garantisca in generale una trasmissione di dati affidabile, l’utilizzo di questo tipo di reti per fornire esattamente gli stessi tipi di servizi delle reti fisse provoca un elevato consumo di risorse che all’interno delle WLANs sono invece limitate. Inoltre l’utilizzo dei protocolli dello stack TCP/IP sui link wireless è di solito fonte di inefficienze viste le profonde differenze esistenti fra i link wireless e quelli fissi. La progettazione di servizi in uno scenario di wireless Internet ha come primario obiettivo quello di garantire la fruizione da parte degli utenti mobili senza soluzione di continuità, mascherando così la presenza del link wireless che ha banda nominale inferiore rispetto ai link fissi ed è soggetto a maggiori perdite, e supportando la mobilità degli utenti all’interno delle zone di copertura (handoff). La gestione dei servizi di wireless Internet deve sempre essere integrata con soluzioni di risparmio energetico tese ad allungare il più possibile l’autonomia energetica dei dispositivi degli utenti (alimentati a batteria) garantendo così loro un servizio duraturo nel tempo. Abbiamo studiato una soluzione per servizi di streaming audio-video verso terminali mobili in un ambiente di wireless LAN. Oltre a garantire la continuità della riproduzione multimediale con buona qualità, questa soluzione ottimizza il consumo energetico del terminale wireless agendo sulla scheda di rete wireless. Durante lo streaming infatti, la scheda di rete viene periodicamente messa in uno stato a basso consumo energetico (sleep). I periodi di sleep della scheda vengono calcolati adattivamente in funzione dello stato di avanzamento della riproduzione multimediale e della banda disponibile istantaneamente sul canale wireless opportunamente monitorato. Il riposo della scheda di rete non incide sul processo di riproduzione e quindi sulla qualità del servizio percepita dall’utente mobile. A differenza delle WLANs, le reti MANETs sono prive di infrastruttura fissa ed i nodi che vi partecipano si autoconfigurano ed autoorganizzano tra di loro. Le MANETs si mostrano particolarmente adatte ad esigenze temporanee di gruppi di utenti che vogliano condividere dati, scambiarsi messaggi, o altro. Uno dei principali interessi di ricerca nell’ambito delle reti MANETs ha riguardato storicamente lo studio dei protocolli di routing per l’instradamento delle informazioni fra nodi sorgente e nodi destinatari. In una rete MANET infatti, vista l’assenza di infrastruttura, ogni nodo è coinvolto nella funzione di instradamento. Negli ultimi anni tuttavia, un nuovo aspetto di ricerca sta acquistando sempre maggiore attenzione e riguarda la sperimentazione su testbed reali. Le poche esperienze sperimentali eseguite su MANETs hanno dimostrato l’inadeguatezza degli studi di tipo analitico-simulativo nel giudicare l’efficacia delle soluzioni progettate per reti MANETs. Questo è principalmente dovuto al fatto che gli scenari wireless sono estremamente complessi e soggetti a fenomeni di diversa natura che influiscono sulle comunicazioni ma che sono difficilmente condensabili in un modello analitico completo. I modelli esistenti nei simulatori attualmente diffusi sono spesso causa di errori nel validare o al contrario bocciare le soluzioni ed i protocolli testati. Le attività di sperimentazione su testbed reali hanno dunque un duplice scopo: i) validare protocolli e soluzioni proposte attualmente, e ii) gettare le basi per la costruizione di nuovi modelli analitici e simulativi che siano maggiormente attendibili di quelli attuali. L’esperienza condotta su di un testbed reale per reti ad hoc comprendente portatili e palmari fino ad un totale di 12 nodi, ha dimostrato l’efficacia delle implementazioni di due protocolli di routing: AODV (Ad hoc On demand Distance Vector) ed OLSR (Optimized Link State Routing). Tuttavia, benchè entrambi siano funzionalmente corretti, mostrano comportamenti differenti quando usati per supportare servizi di livello middleware ed applicativi (vedi ad esempio file sharing o trasferimenti ftp). In particolare, i ritardi causati dalla scoperta delle rotte in AODV sono spesso causa di inefficienze o addirittura di interruzione del servizio. OLSR invece, seppure responsabile di un overhead di traffico maggiore, si mostra maggiormente adatto alle interazioni con i servizi dei livelli superiori. Infine, l’esperienza ha dimostrato la necessità di ripensare molti dei servizi disponibili su rete fissa per adeguarli alle caratteristiche delle reti wireless e particolarmente di quelle ad hoc. Una nuova tipologia di reti wireless sta emergendo attualmente e si sta rivelando di particolare interesse: quella delle reti opportunistiche. Le reti opportunistiche non si appoggiano su alcuna infrastruttura fissa, né cercano di autoconfigurarsi in una infrastruttura wireless temporanea costituita da nodi vicini. Sfruttano le opportunità di contatto che si verificano fra i nodi (dispositivi wireless di piccola taglia) trasportati dagli utenti nelle loro attività quotidiane (ad esempio a lavoro, sugli autobus, a scuola o all’università, ecc.). I messaggi sono scambiati ogni qualvolta si renda possibile, ovunque sia possibile ed il successo della loro trasmissione è strettamente legato alle dinamiche sociali in cui sono coinvolti gli utenti che trasportano i dispositivi ed alla storia degli incontri tra individui. Data la mobilità estremamente elevata che caratterizza questo nuovo scenario di reti, e la nota rumorosità delle comunicazioni wireless, l’affidabilità delle trasmissioni emerge come uno dei fattori di principale interesse. Infatti, le comunicazioni possono aver luogo soltanto durante i periodi di contatto tra i nodi e devono essere estremamente veloci ed efficaci. Questo porta a dover fare uno sforzo di progettazione per nuovi protocolli di comunicazione che si diversifichino da quelli oggi più diffusi e basati sulla ritrasmissione dei dati mancanti. Le ritrasmissioni infatti, nella maggior parte dei casi potrebbero non poter essere eseguite per mancanza di tempo. Una strategia valida per gestire l’affidabilità delle comunicazioni opportunistiche in simili scenari estremi (caratterizzati cioè da scarse risorse e scarsa connettività) prevede l’utilizzo combinato di tecniche di codifica dei dati e strategie di instradamento di tipo epidemico. Questo approccio sfrutta la ridondanza sia delle informazioni, sia dei percorsi. La ridondanza delle informazioni dà robustezza a fronte della perdita dei dati in rete poiché è necessario che soltanto un sottoinsieme dei codici generati arrivi a destinazione per consentire al ricostruzione corretta delle informazioni. La ridondanza dei percorsi invece è necessaria poichè non è possibile predirre in anticipo la sequenza dei contatti che può portare i dati a destinazione e pertanto è necessario distribuire l’informazione in più direzioni. Le reti opportunistiche caratterizzate dalla presenza di dispositivi con limitata autonomia energetica e risorse limitate, offrono attualmente lo scenario che meglio traduce il concetto di sistemi pervasivi. Di particolare interesse è il caso delle reti di sensori sparse in cui i sensori sono disposti nell’ambiente con funzione di monitoraggio ed i dati che collezionano vengono raccolti da degli agenti mobili che passano nelle vicinanze e che sono noti come data MULEs. I data MULEs possono utilizzare le informazioni acquisite dai sensori per eseguire applicazioni dipendenti dal contesto o possono semplicemente inoltrarle fino a quando raggiungono l’infrastruttura dove vengono elaborati e memorizzati. Le interazioni fra i sensori immersi nell’ambiente ed i data MULEs sono soltanto un primo passo di un sistema di comunicazione globale completamente opportunistico in cui i data MULEs scambiano l’un l’altro le informazioni che trasportano fino a quando infine, i dati pervengono alle destinazioni più lontane. In questo scenario, le comunicazioni wireless completano naturalmente le interazioni fra gli utenti e si verificano ogni qualvolta gli utenti si incontrano oppure si avvicinano casualmente l’un l’altro, dovunque questa interazione avvenga. Per supportare un simile framework, è necessario sviluppare nuovi paradigmi di comunicazione che tengano in considerazione l’assenza di link stabili tra i nodi che comunicano (connettività intermittente) e che assumano quindi la disponibilità di brevi periodi di contatto per comunicare. Inoltre i nuovi paradigmi di comunicazione devono generalmente assumere l’assenza di un percorso completo fra i nodi sorgente e destinatario e sfruttare invece forme di instradamento delle informazioni che sono simili al modo in cui avvengono le interazioni sociali fra le persone. Strategie di instradamento basate su codifica dei dati offrono una valida soluzione per supportare il framework emergente dei sistemi pervasivi
    corecore