Naming, Migration, and Replication for NFSv4

In this paper, we discuss a global name space for NFSv4 and mechanisms for transparent migration and replication. By convention, any file or directory name beginning with /nfs on an NFS client is part of this shared global name space. Our system supports file system migration and replication through DNS resolution, provides directory migration and replication using built-in NFSv4 mechanisms, and supports read/write replication with precise consistency guarantees, small performance penalty, and good scaling. We implement these features with small extensions to the published NFSv4 protocol, and demonstrate a practical way to enhance network transparency and administerability of NFSv4 in wide area networks.http://deepblue.lib.umich.edu/bitstream/2027.42/107939/1/citi-tr-06-1.pd

Performance of End-to-End Secure Data Sharing

Das Teilen von Daten bildet die Grundlage für nahezu jede IT-gestützte Zusammenarbeit im geschäflichen und privaten Kontext. Typische Realisierungen der Autorisierung und der Durchsetzung von Zugrifsrechten auf den gemeinsam genutzten Daten erfordern, dass die Benutzer, die Daten miteinander teilen, hinsichtlich der Vertraulichkeit und Integrität der Daten auf Dritte vertrauen müssen. Solche Realisierungen bergen also im speziellen das Risiko, dass Daten durch einen Insider- Angrif auf den vertrauenswürdigen Dritten gefährdet werden. Mit Hilfe clientseitig ausgeführter kryptographischer Operationen können die Autorisierung und die Durchsetzung von Zugrifsrechten für beliebige Speicherdienste in weiten Teilen von den Benutzern selbst durchgeführt werden, was in einem Ende-zu-Ende-gesicherten System zum Teilen von Daten (End-to-End Secure Data Sharing, E2E-SDS) resultiert. E2E-SDS-Systeme werden jedoch nur dann von potenziellen Anwendern akzeptiert, wenn die ihnen bekannten Autorisierungsprozesse weitgehend unverändert bleiben, und die Leistungseinbußen für die Autorisierung und den Datenzugriff nicht zu gravierend sind. Das Hauptziel dieser Arbeit ist die Bewertung der Leistungseinbußen, die auf einem Benutzer-Client mit einem gegebenen E2E-SDS-Protokoll in der Realität zu erwarten sind. Für bestehende E2E-SDS-Protokolle ist das asymptotische Verhalten in Bezug auf Leistungsmetriken wie Rechenzeit oder Netzwerkverkehr in der Regel bekannt. Das asymptotische Verhalten lässt jedoch nur schwache Schlussfolgerungen auf die absolute Höhe der Leistungseinbußen zu. Neben dem E2E-SDS-Protokoll selbst hängt die reale Leistung von der eingesetzten Hardware, den Sicherheitsparametern und dem konkreten Freigabe- und Nutzungsszenario ab, also vom Freigabe- und Nutzungsverhalten der Benutzer im System. Die Bewertung der realen Leistungseinbußen bringt im wesentlichen zwei Herausforderungen mit sich: Erstens muss das zu untersuchende E2E-SDS-Protokoll unter Einbeziehung der vorgenannten Einfussfaktoren auf die Leistung modelliert werden, wobei Implementierungsdetails nach Möglichkeit im Modell einfach austauschbar sind. Zweitens müssen realistische Freigabe- und Nutzungsszenarien vorliegen, die entweder auf Beobachtungen basieren, oder mit Hilfe von Schätzungen generiert werden. Das Ziel dieser Arbeit ist die detaillierte Bewertung der realen Leistung von E2E-SDS-Protokollen. Der Fokus der Arbeit liegt auf E2E-SDS-Protokollen, die ein gruppenbasiertes Autorisationsmodell realisieren, die es also ermöglichen, Daten mit benannten Benutzergruppen zu teilen, die von beliebigen Benutzern verwaltet werden. Diese Funktion wird von weitverbreiteten verteilten Dateisystemen wie NFSv4 oder CIFS angeboten. In dieser Arbeit werden Methoden zur Bewertung der realen Leistung von E2E-SDS-Protokollen vorgestellt. Aus der Beobachtung realer Speicherdienste gewonnene Freigabe- und Nutzungsszenarien werden charakterisiert und eine Methode zur Erzeugung synthetischer Freigabe- und Nutzungsszenarien eingeführt. Unter Nutzung dieses Instrumentariums wird die Leistungsfähigkeit sowohl bestehender als auch neuartiger E2E-SDS-Protokolle evaluiert und mögliche Maßnahmen zur Verbesserung der Leistung auf Seiten des Anwenders vorgeschlagen. Um realistische Freigabe- und Nutzungsszenarien zu erhalten, wurden die Mitglieder, Aktivitäten und Berechtigungen von Benutzergruppen auf zwei produktiven Speicherdiensten beobachtet. Die daraus resultierenden Szenarien werden hinsichtlich ausgewählter Parameter charakterisiert. Für die Leistungsbewertung von E2E-SDS-Protokollen in realistischen Szenarien wurden zwei Methoden entwickelt: Die analytische Methode liefert in vielen Fällen hinreichend genaue Ergebnisse. Die simulative Methode ist erforderlich, wenn die Leistung komplexer E2E-SDS-Protokolle detailliert analysiert werden soll. Für die simulative Methode wird ein Simulationsmodell vorgestellt, das einen Vergleich von E2E-SDS-Protokollen auf einer einheitlichen Abstraktionsebene ermöglicht. Um die Performance von E2E-SDS-Protokollen auch dann bewerten zu können, wenn keine aus Beobachtungen resultierende Freigabe- und Nutzungsszenarien vorliegen, werden synthetische Szenarien erzeugt, die auf Schätzungen bestimmter Parameter des Szenarios basieren. Dazu wird ein Erzeugungsverfahren vorgestellt, das Abhängigkeiten zwischen den vorab spezifzierten Parametern berücksichtigt. Die NP-Schwere des zugrundeliegenden Problems der Erzeugung von Szenarien wird für bestimmte Kombinationen von vorab spezifzierten Parametern bewiesen. Die vorgestellten Methoden zur Leistungsbewertung werden einerseits auf E2E- SDS-Protokolle angewandt, die auf traditioneller Kryptographie basieren, die also mittels symmetrischer und asymmetrischer Kryptographie Chiffrate erzeugen, die nur mit einem einzigen Schlüssel dechifriert werden können. Andererseits werden die vorgestellten Methoden auf E2E-SDS-Protokolle angewandt, die auf Attributbasierter Verschlüsselung (Attribute-Based Encryption, ABE) basieren, mit deren Hilfe eine Gruppe von Benutzern mit nur einem einzigen Chiffrat adressiert werden kann. Die Leistungsbewertung des traditionellen E2E-SDS-Protokolls zeigt, dass in den betrachteten Nutzungs- und Nutzungsszenarien für die meisten Autorisierungsoperationen nur geringe Leistungseinbußen zu erwarten sind. Beträchtliche Leistungseinbußen sind für Benutzer zu erwarten, die Gruppenmitgliedschafen in großen benannten Benutzergruppen verwalten, d.h. Benutzergruppen mit einigen tausend oder mehr Mitgliedern. Diese Leistungseinbußen können durch die Integration eines Group Key Management-Ansatzes deutlich gesenkt werden, also eines Ansatzes, der auf eine effiziente Verteilung und Erneuerung von kryptographischen Schlüsseln innerhalb von Benutzergruppen abzielt. Ein auf ABE basierendes E2E-SDS-Protokoll wird realisiert, indem bestehende ABE- Verfahren hinsichtlich ihrer Eignung für E2E-SDS evaluiert, und das attributbasierte Autorisationsmodell eines geeigneten ABE-Verfahrens auf das gruppenbasierte Autorisationsmodell abgebildet wird. Eine Leistungsbewertung verschiedener Varianten dieser Abbildung zeigt, dass das ABE-basierte Protokoll eine etwas schlechtere Leistung als das auf traditioneller Kryptographie beruhende Protokoll bietet. Schließlich wird ein neuartiges E2E-SDS-Protokoll vorgestellt, das auf kooperative Autorisierungsoperationen verzichtet. Diese Operationen erfordern, dass die Endgeräte der Benutzer zu jedem Zeitpunkt erreichbar und bereit für die Ausführung rechenintensiver kryptographischer Operationen sind. Diese Anforderungen sind insbesondere beim Einsatz mobiler Endgeräte nicht immer sichergestellt. Ein wesentlicher Vorteil des vorgeschlagenen Protokolls liegt darin, dass es den praktischen Einsatz von Hierarchien benannter Benutzergruppen in E2E-SDS ermöglicht. Die damit verbundenen, potenziell hohen Leistungseinbußen werden detailliert ausgewertet. Weiterhin wird gezeigt, dass die Unterstützung von Gruppenhierarchien ohne kooperative Autorisierungsoperationen grundsätzlich gewisse Einschränkungen hinsichtlich der Aktualität der Zugrifsberechtigungen impliziert, was die Grenzen der Anwendbarkeit von E2E-SDS aufzeigt

Automatic software upgrades for distributed systems

Thesis (Ph. D.)--Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science, 2004.Includes bibliographical references (p. 156-164).Upgrading the software of long-lived, highly-available distributed systems is difficult. It is not possible to upgrade all the nodes in a system at once, since some nodes may be unavailable and halting the system for an upgrade is unacceptable. Instead, upgrades may happen gradually, and there may be long periods of time when different nodes are running different software versions and need to communicate using incompatible protocols. We present a methodology and infrastructure that address these challenges and make it possible to upgrade distributed systems automatically while limiting service disruption. Our methodology defines how to enable nodes to interoperate across versions, how to preserve the state of a system across upgrades, and how to schedule an upgrade so as to limit service disrup- tion. The approach is modular: defining an upgrade requires understanding only the new software and the version it replaces. The upgrade infrastructure is a generic platform for distributing and installing software while enabling nodes to interoperate across versions. The infrastructure requires no access to the system source code and is transparent: node software is unaware that different versions even exist. We have implemented a prototype of the infrastructure called Upstart that intercepts socket communication using a dynamically-linked C++ library. Experiments show that Upstart has low overhead and works well for both local-area-and Internet systems.by Sameer Ajmani.Ph.D

File system metadata virtualization

The advance of computing systems has brought new ways to use and access the stored data that push the architecture of traditional file systems to its limits, making them inadequate to handle the new needs. Current challenges affect both the performance of high-end computing systems and its usability from the applications perspective. On one side, high-performance computing equipment is rapidly developing into large-scale aggregations of computing elements in the form of clusters, grids or clouds. On the other side, there is a widening range of scientific and commercial applications that seek to exploit these new computing facilities. The requirements of such applications are also heterogeneous, leading to dissimilar patterns of use of the underlying file systems. Data centres have tried to compensate this situation by providing several file systems to fulfil distinct requirements. Typically, the different file systems are mounted on different branches of a directory tree, and the preferred use of each branch is publicised to users. A similar approach is being used in personal computing devices. Typically, in a personal computer, there is a visible and clear distinction between the portion of the file system name space dedicated to local storage, the part corresponding to remote file systems and, recently, the areas linked to cloud services as, for example, directories to keep data synchronized across devices, to be shared with other users, or to be remotely backed-up. In practice, this approach compromises the usability of the file systems and the possibility of exploiting all the potential benefits. We consider that this burden can be alleviated by determining applicable features on a per-file basis, and not associating them to the location in a static, rigid name space. Moreover, usability would be further increased by providing multiple dynamic name spaces that could be adapted to specific application needs. This thesis contributes to this goal by proposing a mechanism to decouple the user view of the storage from its underlying structure. The mechanism consists in the virtualization of file system metadata (including both the name space and the object attributes) and the interposition of a sensible layer to take decisions on where and how the files should be stored in order to benefit from the underlying file system features, without incurring on usability or performance penalties due to inadequate usage. This technique allows to present multiple, simultaneous virtual views of the name space and the file system object attributes that can be adapted to specific application needs without altering the underlying storage configuration. The first contribution of the thesis introduces the design of a metadata virtualization framework that makes possible the above-mentioned decoupling; the second contribution consists in a method to improve file system performance in large-scale systems by using such metadata virtualization framework; finally, the third contribution consists in a technique to improve the usability of cloud-based storage systems in personal computing devices.Postprint (published version

Service-oriented models for audiovisual content storage

What are the important topics to understand if involved with storage services to hold digital audiovisual content? This report takes a look at how content is created and moves into and out of storage; the storage service value networks and architectures found now and expected in the future; what sort of data transfer is expected to and from an audiovisual archive; what transfer protocols to use; and a summary of security and interface issues

The Fifth Workshop on HPC Best Practices: File Systems and Archives

The workshop on High Performance Computing (HPC) Best Practices on File Systems and Archives was the fifth in a series sponsored jointly by the Department Of Energy (DOE) Office of Science and DOE National Nuclear Security Administration. The workshop gathered technical and management experts for operations of HPC file systems and archives from around the world. Attendees identified and discussed best practices in use at their facilities, and documented findings for the DOE and HPC community in this report