Efficient memory management in video on demand servers

In this article we present, analyse and evaluate a new memory management technique for video-on-demand servers. Our proposal, Memory Reservation Per Storage Device (MRPSD), relies on the allocation of a fixed, small number of memory buffers per storage device. Selecting adequate scheduling algorithms, information storage strategies and admission control mechanisms, we demonstrate that MRPSD is suited for the deterministic service of variable bit rate streams to intolerant clients. MRPSD allows large memory savings compared to traditional memory management techniques, based on the allocation of a certain amount of memory per client served, without a significant performance penaltyPublicad

Resource management in cable access networks

Een kabelnetwerk is tegenwoordig niet meer alleen een medium waarover analoge TV-signalen vanuit een centraal punt, kopstation genaamd, naar de aangesloten huizen worden gestuurd. Sinds enkele jaren is het mogelijk om thuis data digitaal te versturen en te ontvangen. Deze data gaat via een kabelmodem thuis en het kopstation, dat in verbinding staat met andere netwerken. Op deze wijze zijn kabelnetwerken onderdeel geworden van het wereldwijde Internet en kunnen computers thuis hier mee verbonden worden. Door aan zo’n kopstation een digitaal videosysteem met duizenden films te koppelen, ontstaat er de mogelijkheid een video-op-verzoek dienst aan te bieden: Via de computer of zelfs de TV thuis kunnen films worden besteld en direct bekeken, of worden opgeslagen in de computer. Om dit te bewerkstelligen is meer nodig dan alleen een netwerk: Voor de transmissie van video data dient er zorg voor te worden gedragen dat deze zonder hinderende interrupties kan geschieden, omdat dergelijke gebeurtenissen door de gebruiker direct te zien zijn in de vorm van een stilstaand of zwart beeld. Verder is ook de reactiesnelheid van het systeem van belang voor het ondersteunen van operaties door de gebruiker, zoals het bestellen van een film, maar ook het vooruit- of terugspoelen, pauzeren, enzovoorts. Binnen deze context beschrijven en analyseren we in dit proefschrift zes problemen. Vier daarvan houden verband met de transmissie van data over het kabelnetwerk en de overige twee houden verband met het opslaan van video data op een harde schijf. In twee van de vier problemen uit de eerste categorie analyseren we de vertraging die data ondervindt wanneer die vanuit een modem wordt gestuurd naar het kopstation. Deze vertraging bepaalt met name de reactiesnelheid van het systeem. Karakteristiek voor dataverkeer in deze richting is dat pakketten van verschillende modems tegelijkertijd mogen worden verstuurd en daardoor verloren gaan. Met name de vereiste hertransmissies zorgen voor vertraging. Meer concreet beschouwen we een variant op het bekende ALOHA protocol, waarbij we uitgaan van een kanaalmodel dat afwijkt van het conventionele model. Het afwijkende model is van toepassing wanneer een modem een eerste contact probeert te leggen met het kopstation na te zijn opgestart. Met name na een stroomuitval, wanneer een groot aantal modems tegelijkertijd opnieuw opstart, kunnen de vertragingen aanzienlijk zijn. Daarnaast beschouwen we modems tijdens normale operatie en analyseren wij de verbetering in vertraging wanneer pakketten die vanuit ´e´en modem moeten worden verstuurd, worden verpakt in een groter pakket. In beide studies worden wiskundige resultaten vergeleken met simulaties die re¨ele situaties nabootsen. In de andere twee van de vier problemen richten wij ons op de transmissie van video data in de andere richting, namelijk van het kopstation naar de modems. Hierbij spelen stringente tijdsrestricties een voorname rol, zoals hierboven reeds is beschreven. Meer specifiek presenteren we een planningsalgoritme dat pakketten voor een aantal gebruikers op een kanaal zodanig na elkaar verstuurt dat de variatie in de vertraging die de verschillende pakketten ondervinden, minimaal is. Op deze wijze wordt zo goed mogelijk een continue stroom van data gerealiseerd die van belang is voor het probleemloos kunnen bekijken van een film. Daarnaast analyseren we een bestaand algoritme om een film via een aantal kanalen periodiek naar de aangesloten huizen te versturen. In dit geval ligt de nadruk op de wachttijd die een gebruiker ondervindt na het bestellen van een film. In deze analyse onderbouwen we een in het algoritme gebruikte heuristiek en brengen hierin verdere verbeteringen aan. Daarnaast bewijzen we dat het algoritme asymptotisch optimaal is, iets dat reeds langer werd aangenomen, maar nooit rigoreus bewezen was. Bij de laatste twee problemen, die verband houden met het opslaan van video data op een harde schijf, analyseren we hoe deze data zodanig kan worden opgeslagen dat die er nadien efficient van kan worden teruggelezen. In het ene probleem beschouwen we een bestaand planningsalgoritme om pakketten van verschillende videostromen naar een harde schijf te schrijven en passen dit aan om ervoor te zorgen dat het teruglezen van de stroom met bijvoorbeeld een andere pakketgrootte mogelijk wordt zonder daarbij de schijf onnodig te belasten. In het andere probleem analyseren we hoe we effectief gebruik kunnen maken van het gegeven dat data aan de buitenkant van de schijf sneller gelezen kan worden dan aan de binnenkant. We bewijzen dat het probleem van het zo efficient mogelijk opslaan van een gegeven aantal video files NPlastig is en presenteren een eenvoudige heuristiek die, hoewel voor bijzondere instanties een bewijsbaar slechte prestatie levert, in de praktijk in het algemeen goede prestaties levert. Hierbij maken we met name gebruik van het verschil in populariteit van de verschillende films

Implementing and Testing the APEX I/O Scheduler in Linux

This thesis seeks to test an implementation of the APEX I/O scheduler to see how it compares to modern schedulers and whether it better serves mixed-media workloads. APEX is a scheduling framework that seeks to provide deterministic guarantees for storage service to applications. The implementation is done in Linux, a modern open source operating system kernel that includes a loadable scheduler framework. The implementation compares favorably with the existing schedulers on Linux, despite problems inherent in the assumptions made in the design of mixed-media schedulers about modern operating system environments

Understanding and Efficiently Servicing HTTP Streaming Video Workloads

Live and on-demand video streaming has emerged as the most popular application for the Internet. One reason for this success is the pragmatic decision to use HTTP to deliver video content. However, while all web servers are capable of servicing HTTP streaming video workloads, web servers were not originally designed or optimized for video workloads. Web server research has concentrated on requests for small items that exhibit high locality, while video files are much larger and have a popularity distribution with a long tail of less popular content. Given the large number of servers needed to service millions of streaming video clients, there are large potential benefits from even small improvements in servicing HTTP streaming video workloads. To investigate how web server implementations can be improved, we require a benchmark to analyze existing web servers and test alternate implementations, but no such HTTP streaming video benchmark exists. One reason for the lack of a benchmark is that video delivery is undergoing rapid evolution, so we devise a flexible methodology and tools for creating benchmarks that can be readily adapted to changes in HTTP video streaming methods. Using our methodology, we characterize YouTube traffic from early 2011 using several published studies and implement a benchmark to replicate this workload. We then demonstrate that three different widely-used web servers (Apache, nginx and the userver) are all poorly suited to servicing streaming video workloads. We modify the userver to use asynchronous serialized aggressive prefetching (ASAP). Aggressive prefetching uses a single large disk access to service multiple small sequential requests, and serialization prevents the kernel from interleaving disk accesses, which together greatly increase throughput. Using the modified userver, we show that characteristics of the workload and server affect the best prefetch size to use and we provide an algorithm that automatically finds a good prefetch size for a variety of workloads and server configurations. We conduct our own characterization of an HTTP streaming video workload, using server logs obtained from Netflix. We study this workload because, in 2015, Netflix alone accounted for 37% of peak period North American Internet traffic. Netflix clients employ DASH (Dynamic Adaptive Streaming over HTTP) to switch between different bit rates based on changes in network and server conditions. We introduce the notion of chains of sequential requests to represent the spatial locality of workloads and find that even with DASH clients, the majority of bytes are requested sequentially. We characterize rate adaptation by separating sessions into transient, stable and inactive phases, each with distinct patterns of requests. We find that playback sessions are surprisingly stable; in aggregate, 5% of total session duration is spent in transient phases, 79% in stable and 16% in inactive phases. Finally we evaluate prefetch algorithms that exploit knowledge about workload characteristics by simulating the servicing of the Netflix workload. We show that the workload can be serviced with either 13% lower hard drive utilization or 48% less system memory than a prefetch algorithm that makes no use of workload characteristics

Design, analysis, and experimental verification of continuous media retrieval and caching strategies for network-based multimedia services

Ph.DDOCTOR OF PHILOSOPH

Mobile Forensics – The File Format Handbook

This open access book summarizes knowledge about several file systems and file formats commonly used in mobile devices. In addition to the fundamental description of the formats, there are hints about the forensic value of possible artefacts, along with an outline of tools that can decode the relevant data. The book is organized into two distinct parts: Part I describes several different file systems that are commonly used in mobile devices. · APFS is the file system that is used in all modern Apple devices including iPhones, iPads, and even Apple Computers, like the MacBook series. · Ext4 is very common in Android devices and is the successor of the Ext2 and Ext3 file systems that were commonly used on Linux-based computers. · The Flash-Friendly File System (F2FS) is a Linux system designed explicitly for NAND Flash memory, common in removable storage devices and mobile devices, which Samsung Electronics developed in 2012. · The QNX6 file system is present in Smartphones delivered by Blackberry (e.g. devices that are using Blackberry 10) and modern vehicle infotainment systems that use QNX as their operating system. Part II describes five different file formats that are commonly used on mobile devices. · SQLite is nearly omnipresent in mobile devices with an overwhelming majority of all mobile applications storing their data in such databases. · The second leading file format in the mobile world are Property Lists, which are predominantly found on Apple devices. · Java Serialization is a popular technique for storing object states in the Java programming language. Mobile application (app) developers very often resort to this technique to make their application state persistent. · The Realm database format has emerged over recent years as a possible successor to the now ageing SQLite format and has begun to appear as part of some modern applications on mobile devices. · Protocol Buffers provide a format for taking compiled data and serializing it by turning it into bytes represented in decimal values, which is a technique commonly used in mobile devices. The aim of this book is to act as a knowledge base and reference guide for digital forensic practitioners who need knowledge about a specific file system or file format. It is also hoped to provide useful insight and knowledge for students or other aspiring professionals who want to work within the field of digital forensics. The book is written with the assumption that the reader will have some existing knowledge and understanding about computers, mobile devices, file systems and file formats

Mobile Forensics – The File Format Handbook

This open access book summarizes knowledge about several file systems and file formats commonly used in mobile devices. In addition to the fundamental description of the formats, there are hints about the forensic value of possible artefacts, along with an outline of tools that can decode the relevant data. The book is organized into two distinct parts: Part I describes several different file systems that are commonly used in mobile devices. · APFS is the file system that is used in all modern Apple devices including iPhones, iPads, and even Apple Computers, like the MacBook series. · Ext4 is very common in Android devices and is the successor of the Ext2 and Ext3 file systems that were commonly used on Linux-based computers. · The Flash-Friendly File System (F2FS) is a Linux system designed explicitly for NAND Flash memory, common in removable storage devices and mobile devices, which Samsung Electronics developed in 2012. · The QNX6 file system is present in Smartphones delivered by Blackberry (e.g. devices that are using Blackberry 10) and modern vehicle infotainment systems that use QNX as their operating system. Part II describes five different file formats that are commonly used on mobile devices. · SQLite is nearly omnipresent in mobile devices with an overwhelming majority of all mobile applications storing their data in such databases. · The second leading file format in the mobile world are Property Lists, which are predominantly found on Apple devices. · Java Serialization is a popular technique for storing object states in the Java programming language. Mobile application (app) developers very often resort to this technique to make their application state persistent. · The Realm database format has emerged over recent years as a possible successor to the now ageing SQLite format and has begun to appear as part of some modern applications on mobile devices. · Protocol Buffers provide a format for taking compiled data and serializing it by turning it into bytes represented in decimal values, which is a technique commonly used in mobile devices. The aim of this book is to act as a knowledge base and reference guide for digital forensic practitioners who need knowledge about a specific file system or file format. It is also hoped to provide useful insight and knowledge for students or other aspiring professionals who want to work within the field of digital forensics. The book is written with the assumption that the reader will have some existing knowledge and understanding about computers, mobile devices, file systems and file formats

1995 BRAC Commission

NAS South Weymouth, MA (Part 3 of 3). Contains Data, Data Analysis, Maps, Photos, Memos, and Briefings. (Box 248