In-packet Bloom filters: Design and networking applications

The Bloom filter (BF) is a well-known space-efficient data structure that answers set membership queries with some probability of false positives. In an attempt to solve many of the limitations of current inter-networking architectures, some recent proposals rely on including small BFs in packet headers for routing, security, accountability or other purposes that move application states into the packets themselves. In this paper, we consider the design of such in-packet Bloom filters (iBF). Our main contributions are exploring the design space and the evaluation of a series of extensions (1) to increase the practicality and performance of iBFs, (2) to enable false-negative-free element deletion, and (3) to provide security enhancements. In addition to the theoretical estimates, extensive simulations of the multiple design parameters and implementation alternatives validate the usefulness of the extensions, providing for enhanced and novel iBF networking applications.Comment: 15 pages, 11 figures, preprint submitted to Elsevier COMNET Journa

Software-Driven and Virtualized Architectures for Scalable 5G Networks

In this dissertation, we argue that it is essential to rearchitect 4G cellular core networks–sitting between the Internet and the radio access network–to meet the scalability, performance, and flexibility requirements of 5G networks. Today, there is a growing consensus among operators and research community that software-defined networking (SDN), network function virtualization (NFV), and mobile edge computing (MEC) paradigms will be the key ingredients of the next-generation cellular networks. Motivated by these trends, we design and optimize three core network architectures, SoftMoW, SoftBox, and SkyCore, for different network scales, objectives, and conditions. SoftMoW provides global control over nationwide core networks with the ultimate goal of enabling new routing and mobility optimizations. SoftBox attempts to enhance policy enforcement in statewide core networks to enable low-latency, signaling-efficient, and customized services for mobile devices. Sky- Core is aimed at realizing a compact core network for citywide UAV-based radio networks that are going to serve first responders in the future. Network slicing techniques make it possible to deploy these solutions on the same infrastructure in parallel. To better support mobility and provide verifiable security, these architectures can use an addressing scheme that separates network locations and identities with self-certifying, flat and non-aggregatable address components. To benefit the proposed architectures, we designed a high-speed and memory-efficient router, called Caesar, for this type of addressing schemePHDComputer Science & EngineeringUniversity of Michigan, Horace H. Rackham School of Graduate Studieshttps://deepblue.lib.umich.edu/bitstream/2027.42/146130/1/moradi_1.pd

Communication-Efficient Probabilistic Algorithms: Selection, Sampling, and Checking

Diese Dissertation behandelt drei grundlegende Klassen von Problemen in Big-Data-Systemen, für die wir kommunikationseffiziente probabilistische Algorithmen entwickeln. Im ersten Teil betrachten wir verschiedene Selektionsprobleme, im zweiten Teil das Ziehen gewichteter Stichproben (Weighted Sampling) und im dritten Teil die probabilistische Korrektheitsprüfung von Basisoperationen in Big-Data-Frameworks (Checking). Diese Arbeit ist durch einen wachsenden Bedarf an Kommunikationseffizienz motiviert, der daher rührt, dass der auf das Netzwerk und seine Nutzung zurückzuführende Anteil sowohl der Anschaffungskosten als auch des Energieverbrauchs von Supercomputern und der Laufzeit verteilter Anwendungen immer weiter wächst. Überraschend wenige kommunikationseffiziente Algorithmen sind für grundlegende Big-Data-Probleme bekannt. In dieser Arbeit schließen wir einige dieser Lücken. Zunächst betrachten wir verschiedene Selektionsprobleme, beginnend mit der verteilten Version des klassischen Selektionsproblems, d. h. dem Auffinden des Elements von Rang $k$ in einer großen verteilten Eingabe. Wir zeigen, wie dieses Problem kommunikationseffizient gelöst werden kann, ohne anzunehmen, dass die Elemente der Eingabe zufällig verteilt seien. Hierzu ersetzen wir die Methode zur Pivotwahl in einem schon lange bekannten Algorithmus und zeigen, dass dies hinreichend ist. Anschließend zeigen wir, dass die Selektion aus lokal sortierten Folgen – multisequence selection – wesentlich schneller lösbar ist, wenn der genaue Rang des Ausgabeelements in einem gewissen Bereich variieren darf. Dies benutzen wir anschließend, um eine verteilte Prioritätswarteschlange mit Bulk-Operationen zu konstruieren. Später werden wir diese verwenden, um gewichtete Stichproben aus Datenströmen zu ziehen (Reservoir Sampling). Schließlich betrachten wir das Problem, die global häufigsten Objekte sowie die, deren zugehörige Werte die größten Summen ergeben, mit einem stichprobenbasierten Ansatz zu identifizieren. Im Kapitel über gewichtete Stichproben werden zunächst neue Konstruktionsalgorithmen für eine klassische Datenstruktur für dieses Problem, sogenannte Alias-Tabellen, vorgestellt. Zu Beginn stellen wir den ersten Linearzeit-Konstruktionsalgorithmus für diese Datenstruktur vor, der mit konstant viel Zusatzspeicher auskommt. Anschließend parallelisieren wir diesen Algorithmus für Shared Memory und erhalten so den ersten parallelen Konstruktionsalgorithmus für Aliastabellen. Hiernach zeigen wir, wie das Problem für verteilte Systeme mit einem zweistufigen Algorithmus angegangen werden kann. Anschließend stellen wir einen ausgabesensitiven Algorithmus für gewichtete Stichproben mit Zurücklegen vor. Ausgabesensitiv bedeutet, dass die Laufzeit des Algorithmus sich auf die Anzahl der eindeutigen Elemente in der Ausgabe bezieht und nicht auf die Größe der Stichprobe. Dieser Algorithmus kann sowohl sequentiell als auch auf Shared-Memory-Maschinen und verteilten Systemen eingesetzt werden und ist der erste derartige Algorithmus in allen drei Kategorien. Wir passen ihn anschließend an das Ziehen gewichteter Stichproben ohne Zurücklegen an, indem wir ihn mit einem Schätzer für die Anzahl der eindeutigen Elemente in einer Stichprobe mit Zurücklegen kombinieren. Poisson-Sampling, eine Verallgemeinerung des Bernoulli-Sampling auf gewichtete Elemente, kann auf ganzzahlige Sortierung zurückgeführt werden, und wir zeigen, wie ein bestehender Ansatz parallelisiert werden kann. Für das Sampling aus Datenströmen passen wir einen sequentiellen Algorithmus an und zeigen, wie er in einem Mini-Batch-Modell unter Verwendung unserer im Selektionskapitel eingeführten Bulk-Prioritätswarteschlange parallelisiert werden kann. Das Kapitel endet mit einer ausführlichen Evaluierung unserer Aliastabellen-Konstruktionsalgorithmen, unseres ausgabesensitiven Algorithmus für gewichtete Stichproben mit Zurücklegen und unseres Algorithmus für gewichtetes Reservoir-Sampling. Um die Korrektheit verteilter Algorithmen probabilistisch zu verifizieren, schlagen wir Checker für grundlegende Operationen von Big-Data-Frameworks vor. Wir zeigen, dass die Überprüfung zahlreicher Operationen auf zwei „Kern“-Checker reduziert werden kann, nämlich die Prüfung von Aggregationen und ob eine Folge eine Permutation einer anderen Folge ist. Während mehrere Ansätze für letzteres Problem seit geraumer Zeit bekannt sind und sich auch einfach parallelisieren lassen, ist unser Summenaggregations-Checker eine neuartige Anwendung der gleichen Datenstruktur, die auch zählenden Bloom-Filtern und dem Count-Min-Sketch zugrunde liegt. Wir haben beide Checker in Thrill, einem Big-Data-Framework, implementiert. Experimente mit absichtlich herbeigeführten Fehlern bestätigen die von unserer theoretischen Analyse vorhergesagte Erkennungsgenauigkeit. Dies gilt selbst dann, wenn wir häufig verwendete schnelle Hash-Funktionen mit in der Theorie suboptimalen Eigenschaften verwenden. Skalierungsexperimente auf einem Supercomputer zeigen, dass unsere Checker nur sehr geringen Laufzeit-Overhead haben, welcher im Bereich von $2\,\%$ liegt und dabei die Korrektheit des Ergebnisses nahezu garantiert wird

In-packet Bloom Filters: Design And Networking Applications

The Bloom filter (BF) is a well-known randomized data structure that answers set membership queries with some probability of false positives. In an attempt to solve many of the limitations of current network architectures, some recent proposals rely on including small BFs in packet headers for routing, security, accountability or other purposes that move application states into the packets themselves. In this paper, we consider the design of such in-packet Bloom filters (iBF). Our main contributions are exploring the design space and the evaluation of a series of extensions (1) to increase the practicality and performance of iBFs, (2) to enable false-negative-free element deletion, and (3) to provide security enhancements. In addition to the theoretical estimates, extensive simulations of the multiple design parameters and implementation alternatives validate the usefulness of the extensions, providing for enhanced and novel iBF networking applications. © 2010 Elsevier B.V. All rights reserved.55613641378Broder, A.Z., Mitzenmacher, M., Network applications of Bloom filters: A survey (2003) Internet Math, 1 (4)Bloom, B.H., Space/time trade-offs in hash coding with allowable errors (1970) Commun. ACM, 13 (7), pp. 422-426Cai, H., Ge, P., Wang, J., Applications of Bloom filters in peer-to-peer systems: Issues and questions (2008) NAS'08: Proceedings of the 2008 International Conference on Networking, Architecture, and Storage, pp. 97-103. , Washington, DC, USAHebden, P., Pearce, A., Data-centric routing using Bloom filters in wireless sensor networks (2006) Fourth International Conference on Intelligent Sensing and Information Processing (ICISIP-06), pp. 72-78Wolf, T., Data path credentials for high-performance capabilities-based networks (2008) ANCS'08: Proceedings of the 4th ACM/IEEE Symposium on Architectures for Networking and Communications Systems, pp. 129-130. , ACM New York, NY, USAYe, F., Luo, H., Lu, S., Zhang, L., Member, S., Statistical en-route filtering of injected false data in sensor networks (2004) INFOCOM, pp. 839-850Ratnasamy, S., Ermolinskiy, A., Shenker, S., Revisiting IP multicast (2006) Proceedings of ACM SIGCOMM'06, , Pisa, ItalyJokela, P., Zahemszky, A., Esteve, C., Arianfar, S., Nikander, P., LIPSIN: Line speed publish/subscribe inter-networking (2009) Proceedings of ACM SIGCOMM'09, , Barcelona, SpainLaufer, R.P., Velloso, P.B., Cunha, D.D.O., Moraes, I.M., Bicudo, M.D.D., Moreira, M.D.D., Duarte, O.C.M.B., Towards stateless single-packet IP traceback (2007) The 32nd IEEE Conference on Local Computer Networks (LCN'07), pp. 548-555. , Washington, DC, USAWhitaker, A., Wetherall, D., Forwarding without loops in icarus (2002) Proceedings of OPENARCH 2002Aura, T., Nikander, P., Stateless connections (1997) Lecture Notes in Computer Science, (1334), pp. 87-97Rothenberg, C.E., Towards a new generation of information-oriented internetworking architectures (2008) First Workshop on Re-Architecting the Internet, , Madrid, SpainBose, P., Guo, H., Kranakis, E., Maheshwari, A., Morin, P., Morrison, J., Smid, M., Tang, Y., On the false-positive rate of Bloom filters (2008) Inf. Process. Lett., 108 (4), pp. 210-213Lumetta, S., Mitzenmacher, M., Using the power of two choices to improve Bloom filters (2007) Internet Math., 4 (1), pp. 17-33Jimeno, M., Christensen, K., Roginsky, A., A power management proxy with a new best-of-N bloom filter design to reduce false positives (2007) Conference Proceedings of the IEEE International Performance, Computing, and Communications Conference, pp. 125-133. , DOI 10.1109/PCCC.2007.358887, 4197923, 27th IEEE International Performance Computing and Communications Conference, IPCCC 07Kirsch, A., Mitzenmacher, M., Less hashing, same performance: Building a better bloom filter (2006) Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), pp. 456-467. , 4168 LNCS, Algorithms, ESA 2006 - 14th Annual European Symposium, ProceedingsBonomi, F., Mitzenmacher, M., Panigrahy, R., Singh, S., Varghese, G., An improved construction for counting Bloom filters (2006) Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), pp. 684-695. , 4168 LNCS, Algorithms, ESA 2006 - 14th Annual European Symposium, ProceedingsGoh, E.-J., Secure indexes, Cryptology ePrint archive (2003) Report 2003/216, , http://eprint.iacr.org/2003/216/Hwang, D., Chaney, M., Karanam, S., Ton, N., Gaj, K., Comparison of FPGA-targeted hardware implementations of eSTREAM stream cipher candidates (2008) SASC'08, , http://mason.gmu.edu/dhwang/pdf/2008eSTREAM.pdf, FebruaryRothenberg, C., Jokela, P., Nikander, P., Sarela, M., Ylitalo, J., Self-routing denial-of-service resistant capabilities using in-packet Bloom filters (2009) 5th European Conference on Computer Network Defense (EC2ND), pp. 46-51Särelä, M., BloomCasting: Security in Bloom filter based multicast (2010) Lecture Notes in Computer Science, , Springer, NordSecHenke, C., Schmoll, C., Zseby, T., Empirical evaluation of hash functions for multipoint measurements (2008) SIGCOMM Comput. Commun. Rev., 38 (3), pp. 39-50Mitzenmacher, M., Vadhan, S., Why simple hash functions work: Exploiting the entropy in a data stream (2008) SODA'08: Proceedings of the Nineteenth Annual ACM-SIAM Symposium on Discrete Algorithms, pp. 746-755. , Society for Industrial and Applied Mathematics Philadelphia, PA, USAHao, F., Kodialam, M., Lakshman, T.V., Building high accuracy bloom filters using partitioned hashing (2007) Performance Evaluation Review, 35 (1), pp. 277-288. , DOI 10.1145/1269899.1254916, SIGMETRICS'07 - Proceedings of the 2007 International Conference on Measurement and Modeling of Computer SystemsLu, Y., Prabhakar, B., Bonomi, F., Bloom filters: Design innovations and novel applications (2005) 43rd Annual Allerton ConferenceNojima, R., Kadobayashi, Y., Cryptographically secure bloom-filters (2009) Trans. Data Privacy, 2 (2), pp. 131-139Rothenberg, C.E., Data center networking with in-packet bloom filters (2010) SBRC 2010MacApuna, C.A.B., In-packet Bloom filter based data center networking with distributed OpenFlow controllers (2010) IEEE International Workshop on Management of Emerging Networks and Services (IEEE MENS 2010), , Miami, Florida, USASärelä, M., Forwarding anomalies in Bloom filter based multicast (2011) INFOCOM, , Shanghai, China accepted for publicationSärelä, M., Ott, J., Ylitalo, J., Fast inter-domain mobility with in-packet Bloom filters (2010) MobiArch'10: Proceedings of the Fifth ACM International Workshop on Mobility in the Evolving Internet Architecture, pp. 9-14. , ACM New York, NY, USAZahemszky, A., Jokela, P., Sarela, M., Ruponen, S., Kempf, J., Nikander, P., MPSS: Multiprotocol Stateless Switching (2010) Global Internet Symposium 2010, pp. 1-6Rothenberg, C.E., MacApuna, C.A.B., Verdi, F., Magalhães, M., The deletable Bloom filter: A new member of the Bloom family (2010) IEEE Commun. Lett., 14 (6), pp. 557-55