Scalable Video Streaming with Prioritised Network Coding on End-System Overlays

PhDDistribution over the internet is destined to become a standard approach for live broadcasting of TV or events of nation-wide interest. The demand for high-quality live video with personal requirements is destined to grow exponentially over the next few years. Endsystem multicast is a desirable option for relieving the content server from bandwidth bottlenecks and computational load by allowing decentralised allocation of resources to the users and distributed service management. Network coding provides innovative solutions for a multitude of issues related to multi-user content distribution, such as the coupon-collection problem, allocation and scheduling procedure. This thesis tackles the problem of streaming scalable video on end-system multicast overlays with prioritised push-based streaming. We analyse the characteristic arising from a random coding process as a linear channel operator, and present a novel error detection and correction system for error-resilient decoding, providing one of the first practical frameworks for Joint Source-Channel-Network coding. Our system outperforms both network error correction and traditional FEC coding when performed separately. We then present a content distribution system based on endsystem multicast. Our data exchange protocol makes use of network coding as a way to collaboratively deliver data to several peers. Prioritised streaming is performed by means of hierarchical network coding and a dynamic chunk selection for optimised rate allocation based on goodput statistics at application layer. We prove, by simulated experiments, the efficient allocation of resources for adaptive video delivery. Finally we describe the implementation of our coding system. We highlighting the use rateless coding properties, discuss the application in collaborative and distributed coding systems, and provide an optimised implementation of the decoding algorithm with advanced CPU instructions. We analyse computational load and packet loss protection via lab tests and simulations, complementing the overall analysis of the video streaming system in all its components

Computer-network Solutions for Pervasive Computing

Lo scenario delle reti di comunicazione di tipo wireless sta rapidamente evolvendo verso i sistemi pervasivi in cui i dispositivi wireless, di diversi tipi e grandezze, costituiscono parte integrante dell’ambiente in cui sono immersi, ed interagiscono continuamente ed in maniera trasparente con gli utenti che vi vivono o che lo attraversano. Si parla a tal proposito anche di ambienti intelligenti. Seguendo l’evoluzione dai sistemi mobili a quelli pervasivi, questa tesi rivisita diversi tipi di ambienti wireless che si sono sviluppati e diffusi negli ultimi 20 anni: a partire dalle wireless LANs, proseguendo con le reti ad hoc, per finire con le reti opportunistiche. Sebbene molte problematiche delle reti wireless si ripropongano in quasi tutti gli scenari (ad esempio il risparmio energetico), a scenari wireless diversi corrispondono in genere utilizzi differenti e diversi fabbisogni degli utenti, come pure problemi specifici che richiedono soluzioni dedicate. Alcune soluzioni specifiche sono analizzate e proposte in questa tesi. Le reti WLANs basate su infrastruttura sono usate generalmente per fornire accesso alla rete Internet ed infatti lo scenario che le comprende è solitamente riferito come Wireless Internet. Nonostante la presenza dell’infrastruttuta fissa garantisca in generale una trasmissione di dati affidabile, l’utilizzo di questo tipo di reti per fornire esattamente gli stessi tipi di servizi delle reti fisse provoca un elevato consumo di risorse che all’interno delle WLANs sono invece limitate. Inoltre l’utilizzo dei protocolli dello stack TCP/IP sui link wireless è di solito fonte di inefficienze viste le profonde differenze esistenti fra i link wireless e quelli fissi. La progettazione di servizi in uno scenario di wireless Internet ha come primario obiettivo quello di garantire la fruizione da parte degli utenti mobili senza soluzione di continuità, mascherando così la presenza del link wireless che ha banda nominale inferiore rispetto ai link fissi ed è soggetto a maggiori perdite, e supportando la mobilità degli utenti all’interno delle zone di copertura (handoff). La gestione dei servizi di wireless Internet deve sempre essere integrata con soluzioni di risparmio energetico tese ad allungare il più possibile l’autonomia energetica dei dispositivi degli utenti (alimentati a batteria) garantendo così loro un servizio duraturo nel tempo. Abbiamo studiato una soluzione per servizi di streaming audio-video verso terminali mobili in un ambiente di wireless LAN. Oltre a garantire la continuità della riproduzione multimediale con buona qualità, questa soluzione ottimizza il consumo energetico del terminale wireless agendo sulla scheda di rete wireless. Durante lo streaming infatti, la scheda di rete viene periodicamente messa in uno stato a basso consumo energetico (sleep). I periodi di sleep della scheda vengono calcolati adattivamente in funzione dello stato di avanzamento della riproduzione multimediale e della banda disponibile istantaneamente sul canale wireless opportunamente monitorato. Il riposo della scheda di rete non incide sul processo di riproduzione e quindi sulla qualità del servizio percepita dall’utente mobile. A differenza delle WLANs, le reti MANETs sono prive di infrastruttura fissa ed i nodi che vi partecipano si autoconfigurano ed autoorganizzano tra di loro. Le MANETs si mostrano particolarmente adatte ad esigenze temporanee di gruppi di utenti che vogliano condividere dati, scambiarsi messaggi, o altro. Uno dei principali interessi di ricerca nell’ambito delle reti MANETs ha riguardato storicamente lo studio dei protocolli di routing per l’instradamento delle informazioni fra nodi sorgente e nodi destinatari. In una rete MANET infatti, vista l’assenza di infrastruttura, ogni nodo è coinvolto nella funzione di instradamento. Negli ultimi anni tuttavia, un nuovo aspetto di ricerca sta acquistando sempre maggiore attenzione e riguarda la sperimentazione su testbed reali. Le poche esperienze sperimentali eseguite su MANETs hanno dimostrato l’inadeguatezza degli studi di tipo analitico-simulativo nel giudicare l’efficacia delle soluzioni progettate per reti MANETs. Questo è principalmente dovuto al fatto che gli scenari wireless sono estremamente complessi e soggetti a fenomeni di diversa natura che influiscono sulle comunicazioni ma che sono difficilmente condensabili in un modello analitico completo. I modelli esistenti nei simulatori attualmente diffusi sono spesso causa di errori nel validare o al contrario bocciare le soluzioni ed i protocolli testati. Le attività di sperimentazione su testbed reali hanno dunque un duplice scopo: i) validare protocolli e soluzioni proposte attualmente, e ii) gettare le basi per la costruizione di nuovi modelli analitici e simulativi che siano maggiormente attendibili di quelli attuali. L’esperienza condotta su di un testbed reale per reti ad hoc comprendente portatili e palmari fino ad un totale di 12 nodi, ha dimostrato l’efficacia delle implementazioni di due protocolli di routing: AODV (Ad hoc On demand Distance Vector) ed OLSR (Optimized Link State Routing). Tuttavia, benchè entrambi siano funzionalmente corretti, mostrano comportamenti differenti quando usati per supportare servizi di livello middleware ed applicativi (vedi ad esempio file sharing o trasferimenti ftp). In particolare, i ritardi causati dalla scoperta delle rotte in AODV sono spesso causa di inefficienze o addirittura di interruzione del servizio. OLSR invece, seppure responsabile di un overhead di traffico maggiore, si mostra maggiormente adatto alle interazioni con i servizi dei livelli superiori. Infine, l’esperienza ha dimostrato la necessità di ripensare molti dei servizi disponibili su rete fissa per adeguarli alle caratteristiche delle reti wireless e particolarmente di quelle ad hoc. Una nuova tipologia di reti wireless sta emergendo attualmente e si sta rivelando di particolare interesse: quella delle reti opportunistiche. Le reti opportunistiche non si appoggiano su alcuna infrastruttura fissa, né cercano di autoconfigurarsi in una infrastruttura wireless temporanea costituita da nodi vicini. Sfruttano le opportunità di contatto che si verificano fra i nodi (dispositivi wireless di piccola taglia) trasportati dagli utenti nelle loro attività quotidiane (ad esempio a lavoro, sugli autobus, a scuola o all’università, ecc.). I messaggi sono scambiati ogni qualvolta si renda possibile, ovunque sia possibile ed il successo della loro trasmissione è strettamente legato alle dinamiche sociali in cui sono coinvolti gli utenti che trasportano i dispositivi ed alla storia degli incontri tra individui. Data la mobilità estremamente elevata che caratterizza questo nuovo scenario di reti, e la nota rumorosità delle comunicazioni wireless, l’affidabilità delle trasmissioni emerge come uno dei fattori di principale interesse. Infatti, le comunicazioni possono aver luogo soltanto durante i periodi di contatto tra i nodi e devono essere estremamente veloci ed efficaci. Questo porta a dover fare uno sforzo di progettazione per nuovi protocolli di comunicazione che si diversifichino da quelli oggi più diffusi e basati sulla ritrasmissione dei dati mancanti. Le ritrasmissioni infatti, nella maggior parte dei casi potrebbero non poter essere eseguite per mancanza di tempo. Una strategia valida per gestire l’affidabilità delle comunicazioni opportunistiche in simili scenari estremi (caratterizzati cioè da scarse risorse e scarsa connettività) prevede l’utilizzo combinato di tecniche di codifica dei dati e strategie di instradamento di tipo epidemico. Questo approccio sfrutta la ridondanza sia delle informazioni, sia dei percorsi. La ridondanza delle informazioni dà robustezza a fronte della perdita dei dati in rete poiché è necessario che soltanto un sottoinsieme dei codici generati arrivi a destinazione per consentire al ricostruzione corretta delle informazioni. La ridondanza dei percorsi invece è necessaria poichè non è possibile predirre in anticipo la sequenza dei contatti che può portare i dati a destinazione e pertanto è necessario distribuire l’informazione in più direzioni. Le reti opportunistiche caratterizzate dalla presenza di dispositivi con limitata autonomia energetica e risorse limitate, offrono attualmente lo scenario che meglio traduce il concetto di sistemi pervasivi. Di particolare interesse è il caso delle reti di sensori sparse in cui i sensori sono disposti nell’ambiente con funzione di monitoraggio ed i dati che collezionano vengono raccolti da degli agenti mobili che passano nelle vicinanze e che sono noti come data MULEs. I data MULEs possono utilizzare le informazioni acquisite dai sensori per eseguire applicazioni dipendenti dal contesto o possono semplicemente inoltrarle fino a quando raggiungono l’infrastruttura dove vengono elaborati e memorizzati. Le interazioni fra i sensori immersi nell’ambiente ed i data MULEs sono soltanto un primo passo di un sistema di comunicazione globale completamente opportunistico in cui i data MULEs scambiano l’un l’altro le informazioni che trasportano fino a quando infine, i dati pervengono alle destinazioni più lontane. In questo scenario, le comunicazioni wireless completano naturalmente le interazioni fra gli utenti e si verificano ogni qualvolta gli utenti si incontrano oppure si avvicinano casualmente l’un l’altro, dovunque questa interazione avvenga. Per supportare un simile framework, è necessario sviluppare nuovi paradigmi di comunicazione che tengano in considerazione l’assenza di link stabili tra i nodi che comunicano (connettività intermittente) e che assumano quindi la disponibilità di brevi periodi di contatto per comunicare. Inoltre i nuovi paradigmi di comunicazione devono generalmente assumere l’assenza di un percorso completo fra i nodi sorgente e destinatario e sfruttare invece forme di instradamento delle informazioni che sono simili al modo in cui avvengono le interazioni sociali fra le persone. Strategie di instradamento basate su codifica dei dati offrono una valida soluzione per supportare il framework emergente dei sistemi pervasivi

Design and Reliability Performance Evaluation of Network Coding Schemes for Lossy Wireless Networks

This thesis investigates lossy wireless networks, which are wireless communication networks consisting of lossy wireless links, where the packet transmission via a lossy wireless link is successful with a certain value of probability. In particular, this thesis analyses all-to-all broadcast in lossy wireless networks, where every node has a native packet to transmit to all other nodes in the network. A challenge of all-to-all broadcast in lossy wireless networks is the reliability, which is defined as the probability that every node in the network successfully obtains a copy of the native packets of all other nodes. In this thesis, two novel network coding schemes are proposed, which are the neighbour network coding scheme and the random neighbour network coding scheme. In the two proposed network coding schemes, a node may perform a bit-wise exclusive or (XOR) operation to combine the native packet of itself and the native packet of its neighbour, called the coding neighbour, into an XOR coded packet. The reliability of all-to-all broadcast under both the proposed network coding schemes is investigated analytically using Markov chains. It is shown that the reliability of all-to-all broadcast can be improved considerably by employing the proposed network coding schemes, compared with non-coded networks with the same link conditions, i.e. same probabilities of successful packet transmission via wireless channels. Further, the proposed schemes take the link conditions of each node into account to maximise the reliability of a given network. To be more precise, the first scheme proposes the optimal coding neighbour selection method while the second scheme introduces a tuning parameter to control the probability that a node performs network coding at each transmission. The observation that channel condition can have a significant impact on the performance of network coding schemes is expected to be applicable to other network coding schemes for lossy wireless networks

Design and Reliability Performance Evaluation of Network Coding Schemes for Lossy Wireless Networks

This thesis investigates lossy wireless networks, which are wireless communication networks consisting of lossy wireless links, where the packet transmission via a lossy wireless link is successful with a certain value of probability. In particular, this thesis analyses all-to-all broadcast in lossy wireless networks, where every node has a native packet to transmit to all other nodes in the network. A challenge of all-to-all broadcast in lossy wireless networks is the reliability, which is defined as the probability that every node in the network successfully obtains a copy of the native packets of all other nodes. In this thesis, two novel network coding schemes are proposed, which are the neighbour network coding scheme and the random neighbour network coding scheme. In the two proposed network coding schemes, a node may perform a bit-wise exclusive or (XOR) operation to combine the native packet of itself and the native packet of its neighbour, called the coding neighbour, into an XOR coded packet. The reliability of all-to-all broadcast under both the proposed network coding schemes is investigated analytically using Markov chains. It is shown that the reliability of all-to-all broadcast can be improved considerably by employing the proposed network coding schemes, compared with non-coded networks with the same link conditions, i.e. same probabilities of successful packet transmission via wireless channels. Further, the proposed schemes take the link conditions of each node into account to maximise the reliability of a given network. To be more precise, the first scheme proposes the optimal coding neighbour selection method while the second scheme introduces a tuning parameter to control the probability that a node performs network coding at each transmission. The observation that channel condition can have a significant impact on the performance of network coding schemes is expected to be applicable to other network coding schemes for lossy wireless networks

Network Coding Applications

Network coding is an elegant and novel technique introduced at the turn of the millennium to improve network throughput and performance. It is expected to be a critical technology for networks of the future. This tutorial deals with wireless and content distribution networks, considered to be the most likely applications of network coding, and it also reviews emerging applications of network coding such as network monitoring and management. Multiple unicasts, security, networks with unreliable links, and quantum networks are also addressed. The preceding companion deals with theoretical foundations of network coding

ENSURE: A Time Sensitive Transport Protocol to Achieve Reliability Over Wireless in Petrochemical Plants

As society becomes more reliant on the resources extracted in petroleum refinement the production demand for petrochemical plants increases. A key element is producing efficiently while maintaining safety through constant monitoring of equipment feedback. Currently, temperature and flow sensors are deployed at various points of production and 10/100 Ethernet cable is installed to connect them to a master control unit. This comes at a great monetary cost, not only at the time of implementation but also when repairs are required. The capability to provide plant wide wireless networks would both decrease investment cost and downtime needed for repairs. However, the current state of wireless networks does not provide any guarantee of reliability, which is critical to the industry. When factoring in the need for real-time information, network reliability further decreases. This work presents the design and development of a series of transport layer protocols (coined ENSURE) to provide time-sensitive reliability. More specifically three versions were developed to meet specific needs of the data being sent. ENSURE 1.0 addresses reliability, 2.0 enforces a time limit and the final version, 3.0, provides a balance of the two. A network engineer can set each specific area of the plant to use a different version of ENSURE based network performance needs for the data it produces. The end result being a plant wide wireless network that performs in a timely and reliable fashion

Collaborative Communication And Storage In Energy-Synchronized Sensor Networks

In a battery-less sensor network, all the operation of sensor nodes are strictly constrained by and synchronized with the fluctuations of harvested energy, causing nodes to be disruptive from network and hence unstable network connectivity. Such wireless sensor network is named as energy-synchronized sensor networks. The unpredictable network disruptions and challenging communication environments make the traditional communication protocols inefficient and require a new paradigm-shift in design. In this thesis, I propose a set of algorithms on collaborative data communication and storage for energy-synchronized sensor networks. The solutions are based on erasure codes and probabilistic network codings. The proposed set of algorithms significantly improve the data communication throughput and persistency, and they are inherently amenable to probabilistic nature of transmission in wireless networks. The technical contributions explore collaborative communication with both no coding and network coding methods. First, I propose a collaborative data delivery protocol to exploit the optimal performance of multiple energy-synchronized paths without network coding, i.e. a new max-flow min-variance algorithm. In consort with this data delivery protocol, a localized TDMA MAC protocol is designed to synchronize nodes\u27 duty-cycles and mitigate media access contentions. However, the energy supply can change dynamically over time, making determined duty cycles synchronization difficult in practice. A probabilistic approach is investigated. Therefore, I present Opportunistic Network Erasure Coding protocol (ONEC), to collaboratively collect data. ONEC derives the probability distribution of coding degree in each node and enable opportunistic in-network recoding, and guarantee the recovery of original sensor data can be achieved with high probability upon receiving any sufficient amount of encoded packets. Next, OnCode, an opportunistic in-network data coding and delivery protocol is proposed to further improve data communication under the constraints of energy synchronization. It is resilient to packet loss and network disruptions, and does not require explicit end-to-end feedback message. Moreover, I present a network Erasure Coding with randomized Power Control (ECPC) mechanism for collaborative data storage in disruptive sensor networks. ECPC only requires each node to perform a single broadcast at each of its several randomly selected power levels. Thus it incurs very low communication overhead. Finally, I propose an integrated algorithm and middleware (Ravine Stream) to improve data delivery throughput as well as data persistency in energy-synchronized sensor network

Information-centric communication in mobile and wireless networks

Information-centric networking (ICN) is a new communication paradigm that has been proposed to cope with drawbacks of host-based communication protocols, namely scalability and security. In this thesis, we base our work on Named Data Networking (NDN), which is a popular ICN architecture, and investigate NDN in the context of wireless and mobile ad hoc networks. In a first part, we focus on NDN efficiency (and potential improvements) in wireless environments by investigating NDN in wireless one-hop communication, i.e., without any routing protocols. A basic requirement to initiate informationcentric communication is the knowledge of existing and available content names. Therefore, we develop three opportunistic content discovery algorithms and evaluate them in diverse scenarios for different node densities and content distributions. After content names are known, requesters can retrieve content opportunistically from any neighbor node that provides the content. However, in case of short contact times to content sources, content retrieval may be disrupted. Therefore, we develop a requester application that keeps meta information of disrupted content retrievals and enables resume operations when a new content source has been found. Besides message efficiency, we also evaluate power consumption of information-centric broadcast and unicast communication. Based on our findings, we develop two mechanisms to increase efficiency of information-centric wireless one-hop communication. The first approach called Dynamic Unicast (DU) avoids broadcast communication whenever possible since broadcast transmissions result in more duplicate Data transmissions, lower data rates and higher energy consumption on mobile nodes, which are not interested in overheard Data, compared to unicast communication. Hence, DU uses broadcast communication only until a content source has been found and then retrieves content directly via unicast from the same source. The second approach called RC-NDN targets efficiency of wireless broadcast communication by reducing the number of duplicate Data transmissions. In particular, RC-NDN is a Data encoding scheme for content sources that increases diversity in wireless broadcast transmissions such that multiple concurrent requesters can profit from each others’ (overheard) message transmissions. If requesters and content sources are not in one-hop distance to each other, requests need to be forwarded via multi-hop routing. Therefore, in a second part of this thesis, we investigate information-centric wireless multi-hop communication. First, we consider multi-hop broadcast communication in the context of rather static community networks. We introduce the concept of preferred forwarders, which relay Interest messages slightly faster than non-preferred forwarders to reduce redundant duplicate message transmissions. While this approach works well in static networks, the performance may degrade in mobile networks if preferred forwarders may regularly move away. Thus, to enable routing in mobile ad hoc networks, we extend DU for multi-hop communication. Compared to one-hop communication, multi-hop DU requires efficient path update mechanisms (since multi-hop paths may expire quickly) and new forwarding strategies to maintain NDN benefits (request aggregation and caching) such that only a few messages need to be transmitted over the entire end-to-end path even in case of multiple concurrent requesters. To perform quick retransmission in case of collisions or other transmission errors, we implement and evaluate retransmission timers from related work and compare them to CCNTimer, which is a new algorithm that enables shorter content retrieval times in information-centric wireless multi-hop communication. Yet, in case of intermittent connectivity between requesters and content sources, multi-hop routing protocols may not work because they require continuous end-to-end paths. Therefore, we present agent-based content retrieval (ACR) for delay-tolerant networks. In ACR, requester nodes can delegate content retrieval to mobile agent nodes, which move closer to content sources, can retrieve content and return it to requesters. Thus, ACR exploits the mobility of agent nodes to retrieve content from remote locations. To enable delay-tolerant communication via agents, retrieved content needs to be stored persistently such that requesters can verify its authenticity via original publisher signatures. To achieve this, we develop a persistent caching concept that maintains received popular content in repositories and deletes unpopular content if free space is required. Since our persistent caching concept can complement regular short-term caching in the content store, it can also be used for network caching to store popular delay-tolerant content at edge routers (to reduce network traffic and improve network performance) while real-time traffic can still be maintained and served from the content store