Efficient memory management in video on demand servers

In this article we present, analyse and evaluate a new memory management technique for video-on-demand servers. Our proposal, Memory Reservation Per Storage Device (MRPSD), relies on the allocation of a fixed, small number of memory buffers per storage device. Selecting adequate scheduling algorithms, information storage strategies and admission control mechanisms, we demonstrate that MRPSD is suited for the deterministic service of variable bit rate streams to intolerant clients. MRPSD allows large memory savings compared to traditional memory management techniques, based on the allocation of a certain amount of memory per client served, without a significant performance penaltyPublicad

Resource management in cable access networks

Een kabelnetwerk is tegenwoordig niet meer alleen een medium waarover analoge TV-signalen vanuit een centraal punt, kopstation genaamd, naar de aangesloten huizen worden gestuurd. Sinds enkele jaren is het mogelijk om thuis data digitaal te versturen en te ontvangen. Deze data gaat via een kabelmodem thuis en het kopstation, dat in verbinding staat met andere netwerken. Op deze wijze zijn kabelnetwerken onderdeel geworden van het wereldwijde Internet en kunnen computers thuis hier mee verbonden worden. Door aan zo’n kopstation een digitaal videosysteem met duizenden films te koppelen, ontstaat er de mogelijkheid een video-op-verzoek dienst aan te bieden: Via de computer of zelfs de TV thuis kunnen films worden besteld en direct bekeken, of worden opgeslagen in de computer. Om dit te bewerkstelligen is meer nodig dan alleen een netwerk: Voor de transmissie van video data dient er zorg voor te worden gedragen dat deze zonder hinderende interrupties kan geschieden, omdat dergelijke gebeurtenissen door de gebruiker direct te zien zijn in de vorm van een stilstaand of zwart beeld. Verder is ook de reactiesnelheid van het systeem van belang voor het ondersteunen van operaties door de gebruiker, zoals het bestellen van een film, maar ook het vooruit- of terugspoelen, pauzeren, enzovoorts. Binnen deze context beschrijven en analyseren we in dit proefschrift zes problemen. Vier daarvan houden verband met de transmissie van data over het kabelnetwerk en de overige twee houden verband met het opslaan van video data op een harde schijf. In twee van de vier problemen uit de eerste categorie analyseren we de vertraging die data ondervindt wanneer die vanuit een modem wordt gestuurd naar het kopstation. Deze vertraging bepaalt met name de reactiesnelheid van het systeem. Karakteristiek voor dataverkeer in deze richting is dat pakketten van verschillende modems tegelijkertijd mogen worden verstuurd en daardoor verloren gaan. Met name de vereiste hertransmissies zorgen voor vertraging. Meer concreet beschouwen we een variant op het bekende ALOHA protocol, waarbij we uitgaan van een kanaalmodel dat afwijkt van het conventionele model. Het afwijkende model is van toepassing wanneer een modem een eerste contact probeert te leggen met het kopstation na te zijn opgestart. Met name na een stroomuitval, wanneer een groot aantal modems tegelijkertijd opnieuw opstart, kunnen de vertragingen aanzienlijk zijn. Daarnaast beschouwen we modems tijdens normale operatie en analyseren wij de verbetering in vertraging wanneer pakketten die vanuit ´e´en modem moeten worden verstuurd, worden verpakt in een groter pakket. In beide studies worden wiskundige resultaten vergeleken met simulaties die re¨ele situaties nabootsen. In de andere twee van de vier problemen richten wij ons op de transmissie van video data in de andere richting, namelijk van het kopstation naar de modems. Hierbij spelen stringente tijdsrestricties een voorname rol, zoals hierboven reeds is beschreven. Meer specifiek presenteren we een planningsalgoritme dat pakketten voor een aantal gebruikers op een kanaal zodanig na elkaar verstuurt dat de variatie in de vertraging die de verschillende pakketten ondervinden, minimaal is. Op deze wijze wordt zo goed mogelijk een continue stroom van data gerealiseerd die van belang is voor het probleemloos kunnen bekijken van een film. Daarnaast analyseren we een bestaand algoritme om een film via een aantal kanalen periodiek naar de aangesloten huizen te versturen. In dit geval ligt de nadruk op de wachttijd die een gebruiker ondervindt na het bestellen van een film. In deze analyse onderbouwen we een in het algoritme gebruikte heuristiek en brengen hierin verdere verbeteringen aan. Daarnaast bewijzen we dat het algoritme asymptotisch optimaal is, iets dat reeds langer werd aangenomen, maar nooit rigoreus bewezen was. Bij de laatste twee problemen, die verband houden met het opslaan van video data op een harde schijf, analyseren we hoe deze data zodanig kan worden opgeslagen dat die er nadien efficient van kan worden teruggelezen. In het ene probleem beschouwen we een bestaand planningsalgoritme om pakketten van verschillende videostromen naar een harde schijf te schrijven en passen dit aan om ervoor te zorgen dat het teruglezen van de stroom met bijvoorbeeld een andere pakketgrootte mogelijk wordt zonder daarbij de schijf onnodig te belasten. In het andere probleem analyseren we hoe we effectief gebruik kunnen maken van het gegeven dat data aan de buitenkant van de schijf sneller gelezen kan worden dan aan de binnenkant. We bewijzen dat het probleem van het zo efficient mogelijk opslaan van een gegeven aantal video files NPlastig is en presenteren een eenvoudige heuristiek die, hoewel voor bijzondere instanties een bewijsbaar slechte prestatie levert, in de praktijk in het algemeen goede prestaties levert. Hierbij maken we met name gebruik van het verschil in populariteit van de verschillende films

Better Admission Control and Disk Scheduling for Multimedia Applications

General purpose operating systems have been designed to provide fast, loss-free disk service to all applications. However, multimedia applications are capable of tolerating some data loss, but are very sensitive to variation in disk service timing. Present research efforts to handle multimedia applications assume pessimistic disk behaviour when deciding to admit new multimedia connections so as not to violate the real-time application constraints. However, since multimedia applications are ``soft\u27 real-time applications that can tolerate some loss, we propose an optimistic scheme for admission control which uses average case values for disk access. Typically, disk scheduling mechanisms for multimedia applications reduce disk access times by only trying to minimize movement to subsequent blocks after sequencing based on Earliest Deadline First. We propose to implement a disk scheduling algorithm that uses knowledge of the media stored and permissible loss and jitter for each client, in addition to the physical parameters used by the other scheduling algorithms. We will evaluate our approach by implementing our admission control policy and disk scheduling algorithm in Linux and measuring the quality of various multimedia streams. If successful, the contributions of this thesis are the development of new admission control and flexible disk scheduling algorithm for improved multimedia quality of service

Random redundant storage in disk arrays: Complexity of retrieval problems

Random redundant data storage strategies have proven to be a good choice for efficient data storage in multimedia servers. These strategies lead to a retrieval problem in which it is decided for each requested data block which disk to use for its retrieval. In this paper, we give a complexity classification of retrieval problems for random redundant storage

Turbo-slice-and-patch: an algorithm for metropolitan scale VBR video streaming.

Kong Chun Wai.Thesis submitted in: July 2003.Thesis (M.Phil.)--Chinese University of Hong Kong, 2004.Includes bibliographical references (leaves 53-54).Abstracts in English and Chinese.Contentsacknowledgement --- p.IAbstract --- p.II摘要 --- p.IIIChapter Chapter 1 --- Introduction --- p.1Chapter Chapter 2 --- Related Works --- p.4Chapter 2.1 --- Previous Work --- p.4Chapter 2.2 --- Comparison --- p.5Chapter Chapter 3 --- System Architecture --- p.7Chapter 3.1 --- Transmission Scheduling --- p.7Chapter 3.2 --- Admission Control --- p.9Chapter 3.3 --- Challenges in Supporting VBR-encoded Video --- p.10Chapter Chapter 4 --- Priority Scheduling --- p.12Chapter 4.1 --- Static Channel Priority (SCP) --- p.13Chapter 4.2 --- Dynamic Channel Priority (DCP) --- p.16Chapter Chapter 5 --- Turbo-Slice-and-Patch --- p.19Chapter 5.1 --- Video Pre-processing --- p.19Chapter 5.2 --- Bandwidth Allocation --- p.22Chapter 5.3 --- Three-Phase Patching --- p.23Chapter 5.4 --- Client Buffer Requirement --- p.27Chapter Chapter 6 --- Playback Continuity --- p.30Chapter Chapter 7 --- Performance Evaluation --- p.39Chapter 7.1 --- Average Latency --- p.40Chapter 7.2 --- Client Buffer Requirement --- p.43Chapter 7.3 --- Choice of Parameter Rcut --- p.44Chapter 7.4 --- Latency versus Arrival Rate --- p.46Chapter 7.5 --- Server Bandwidth Comparison --- p.48Chapter 7.6 --- Bandwidth Partitioning --- p.50Chapter Chapter 8 --- Conclusions --- p.52Bibliography --- p.5

An admission control algorithm for providing quality-of-service guarantee for individual connection in a video-on-demand system.

by Xiaoqing Wang.Thesis (M.Phil.)--Chinese University of Hong Kong, 2000.Includes bibliographical references (leaves 43-45).Abstracts in English and Chinese.Acknowledgments --- p.iiAbstract --- p.iiiChapter 1 --- Introduction --- p.1Chapter 2 --- The General Architecture of the VoD System and the Related Issues --- p.4Chapter 2.1 --- A Brief Description of VoD System --- p.4Chapter 2.2 --- Why Video Streams in VoD Service are VBR in Nature? --- p.6Chapter 2.3 --- The Video Storage Media in the VoD Systems --- p.8Chapter 2.4 --- The Data Placement Scheme in the VoD System --- p.9Chapter 2.5 --- An Overview of Disk Scheduling in VoD System --- p.10Chapter 2.6 --- The Admission Control in VoD System --- p.12Chapter 3 --- Our Admission Control Algorithm for VoD System --- p.14Chapter 3.1 --- QoS Requirements We Choose --- p.14Chapter 3.2 --- System Model --- p.15Chapter 3.3 --- The Admission Control for the Storage Sub-system --- p.19Chapter 3.4 --- The Admission Control for Network Sub-system --- p.21Chapter 3.4.1 --- Preliminaries --- p.22Chapter 3.4.2 --- The Admission Control Algorithm for Network Sub-system --- p.27Chapter 4 --- Experiment --- p.33Chapter 5 --- Conclusion and Future Work --- p.41Chapter 5.1 --- Conclusion --- p.41Chapter 5.2 --- Future Work --- p.4

Implementing and Testing the APEX I/O Scheduler in Linux

This thesis seeks to test an implementation of the APEX I/O scheduler to see how it compares to modern schedulers and whether it better serves mixed-media workloads. APEX is a scheduling framework that seeks to provide deterministic guarantees for storage service to applications. The implementation is done in Linux, a modern open source operating system kernel that includes a loadable scheduler framework. The implementation compares favorably with the existing schedulers on Linux, despite problems inherent in the assumptions made in the design of mixed-media schedulers about modern operating system environments

Distributed multimedia systems

A distributed multimedia system (DMS) is an integrated communication, computing, and information system that enables the processing, management, delivery, and presentation of synchronized multimedia information with quality-of-service guarantees. Multimedia information may include discrete media data, such as text, data, and images, and continuous media data, such as video and audio. Such a system enhances human communications by exploiting both visual and aural senses and provides the ultimate flexibility in work and entertainment, allowing one to collaborate with remote participants, view movies on demand, access on-line digital libraries from the desktop, and so forth. In this paper, we present a technical survey of a DMS. We give an overview of distributed multimedia systems, examine the fundamental concept of digital media, identify the applications, and survey the important enabling technologies.published_or_final_versio

Design and implementation of a consonant broadcasting architecture for large-scale video streaming.

Liu Wing Chun.Thesis submitted in: July 2003.Thesis (M.Phil.)--Chinese University of Hong Kong, 2004.Includes bibliographical references (leaves 55-57).Abstracts in English and Chinese.Acknowledgement --- p.IAbstract --- p.II摘要 --- p.IIIChapter Chapter 1 --- Introduction --- p.1Chapter Chapter 2 --- Related Works --- p.5Chapter 2.1 --- Fixed-Segment Fixed-Bandwidth Schemes --- p.6Chapter 2.2 --- Variable-Segment Fixed-Bandwidth Schemes --- p.7Chapter 2.3 --- Fixed-Segment Variable-Bandwidth Schemes --- p.8Chapter 2.4 --- Variable-Segment Variable-Bandwidth Schemes --- p.9Chapter 2.5 --- Performance Bounds of Periodic Broadcastings --- p.10Chapter Chapter 3 --- Consonant Broadcasting --- p.12Chapter 3.1 --- Type-I Channels --- p.14Chapter 3.2 --- Type-II Channels --- p.15Chapter 3.3 --- Client Buffer --- p.17Chapter Chapter 4 --- Performance Evaluation --- p.19Chapter 4.1 --- Startup Latency versus Network Bandwidth --- p.20Chapter 4.2 --- Startup Latency versus Client Access Bandwidth --- p.22Chapter 4.3 --- Client Buffer Requirement --- p.24Chapter Chapter 5 --- Grouped Consonant Broadcasting --- p.25Chapter 5.1 --- Bandwidth Partitioning and Reception Schedule --- p.26Chapter 5.2 --- Client Buffer Requirement --- p.28Chapter 5.3 --- Performance Tradeoffs --- p.30Chapter Chapter 6 --- Implementation and Benchmarking --- p.34Chapter 6.1 --- Practical Issues --- p.35Chapter 6.2 --- Experimental Results --- p.36Chapter Chapter 7 --- Dynamic Consonant Broadcasting --- p.39Chapter 7.1 --- Virtual Transmission Schedules --- p.40Chapter 7.2 --- Dynamic Broadcasting Schedules --- p.42Chapter 7.3 --- Performance Evaluation --- p.44Chapter Chapter 8 --- Variable-bit-rate Video Streaming --- p.46Chapter 8.1 --- Transmission Schedules --- p.46Chapter 8.2 --- Playback Continuity --- p.48Chapter 8.3 --- Performance Evaluation --- p.50Chapter Chapter 9 --- Conclusions --- p.53Bibliography --- p.5

An architecture for an ATM network continuous media server exploiting temporal locality of access

With the continuing drop in the price of memory, Video-on-Demand (VoD) solutions that have so far focused on maximising the throughput of disk units with a minimal use of physical memory may now employ significant amounts of cache memory. The subject of this thesis is the study of a technique to best utilise a memory buffer within such a VoD solution. In particular, knowledge of the streams active on the server is used to allocate cache memory. Stream optimised caching exploits reuse of data among streams that are temporally close to each other within the same clip; the data fetched on behalf of the leading stream may be cached and reused by the following streams. Therefore, only the leading stream requires access to the physical disk and the potential level of service provision allowed by the server may be increased. The use of stream optimised caching may consequently be limited to environments where reuse of data is significant. As such, the technique examined within this thesis focuses on a classroom environment where user progress is generally linear and all users progress at approximately the same rate for such an environment, reuse of data is guaranteed. The analysis of stream optimised caching begins with a detailed theoretical discussion of the technique and suggests possible implementations. Later chapters describe both the design and construction of a prototype server that employs the caching technique, and experiments that use of the prototype to assess the effectiveness of the technique for the chosen environment using `emulated' users. The conclusions of these experiments indicate that stream optimised caching may be applicable to larger scale VoD systems than small scale teaching environments. Future development of stream optimised caching is considered