On the Computational Complexity of MapReduce

In this paper we study MapReduce computations from a complexity-theoretic perspective. First, we formulate a uniform version of the MRC model of Karloff et al. (2010). We then show that the class of regular languages, and moreover all of sublogarithmic space, lies in constant round MRC. This result also applies to the MPC model of Andoni et al. (2014). In addition, we prove that, conditioned on a variant of the Exponential Time Hypothesis, there are strict hierarchies within MRC so that increasing the number of rounds or the amount of time per processor increases the power of MRC. To the best of our knowledge we are the first to approach the MapReduce model with complexity-theoretic techniques, and our work lays the foundation for further analysis relating MapReduce to established complexity classes

Pulse propagation, graph cover, and packet forwarding

We study distributed systems, with a particular focus on graph problems and fault tolerance. Fault-tolerance in a microprocessor or even System-on-Chip can be improved by using a fault-tolerant pulse propagation design. The existing design TRIX achieves this goal by being a distributed system consisting of very simple nodes. We show that even in the typical mode of operation without faults, TRIX performs significantly better than a regular wire or clock tree: Statistical evaluation of our simulated experiments show that we achieve a skew with standard deviation of O(log log H), where H is the height of the TRIX grid. The distance-r generalization of classic graph problems can give us insights on how distance affects hardness of a problem. For the distance-r dominating set problem, we present both an algorithmic upper and unconditional lower bound for any graph class with certain high-girth and sparseness criteria. In particular, our algorithm achieves a O(r·f(r))-approximation in time O(r), where f is the expansion function, which correlates with density. For constant r, this implies a constant approximation factor, in constant time. We also show that no algorithm can achieve a (2r + 1 − δ)-approximation for any δ > 0 in time O(r), not even on the class of cycles of girth at least 5r. Furthermore, we extend the algorithm to related graph cover problems and even to a different execution model. Furthermore, we investigate the problem of packet forwarding, which addresses the question of how and when best to forward packets in a distributed system. These packets are injected by an adversary. We build on the existing algorithm OED to handle more than a single destination. In particular, we show that buffers of size O(log n) are sufficient for this algorithm, in contrast to O(n) for the naive approach.Wir untersuchen verteilte Systeme, mit besonderem Augenmerk auf Graphenprobleme und Fehlertoleranz. Fehlertoleranz auf einem System-on-Chip (SoC) kann durch eine fehlertolerante Puls- Weiterleitung verbessert werden. Das bestehende Puls-Weiterleitungs-System TRIX toleriert Fehler indem es ein verteiltes System ist das nur aus sehr einfachen Knoten besteht. Wir zeigen dass selbst im typischen, fehlerfreien Fall TRIX sich weitaus besser verhält als man naiverweise erwarten würde: Statistische Analysen unserer simulierten Experimente zeigen, dass der Verzögerungs-Unterschied eine Standardabweichung von lediglich O(log logH) erreicht, wobei H die Höhe des TRIX-Netzes ist. Das Generalisieren einiger klassischer Graphen-Probleme auf Distanz r kann uns neue Erkenntnisse bescheren über den Zusammenhang zwischen Distanz und Komplexität eines Problems. Für das Problem der dominierenden Mengen auf Distanz r zeigen wir sowohl eine algorithmische obere Schranke als auch eine bedingungsfreie untere Schranke für jede Klasse von Graphen, die bestimmte Eigenschaften an Umfang und Dichte erfüllt. Konkret erreicht unser Algorithmus in Zeit O(r) eine Annäherungsgüte von O(r · f(r)). Für konstante r bedeutet das, dass der Algorithmus in konstanter Zeit eine Annäherung konstanter Güte erreicht. Weiterhin zeigen wir, dass kein Algorithmus in Zeit O(r) eine Annäherungsgüte besser als 2r + 1 erreichen kann, nicht einmal in der Klasse der Kreis-Graphen von Umfang mindestens 5r. Weiterhin haben wir das Paketweiterleitungs-Problem untersucht, welches sich mit der Frage beschäftigt, wann genau Pakete in einem verteilten System idealerweise weitergeleitetwerden sollten. Die Paketewerden dabei von einem Gegenspieler eingefügt. Wir bauen auf dem existierenden Algorithmus OED auf, um mehr als ein Paket-Ziel beliefern zu können. Dadurch zeigen wir, dass Paket-Speicher der Größe O(log n) für dieses Problem ausreichen, im Gegensatz zu den Paket-Speichern der Größe O(n) die für einen naiven Ansatz nötig wären

Gossip vs. Markov Chains, and Randomness-Efficient Rumor Spreading

We study gossip algorithms for the rumor spreading problem which asks one node to deliver a rumor to all nodes in an unknown network. We present the first protocol for any expander graph $G$ with $n$ nodes such that, the protocol informs every node in $O(\log n)$ rounds with high probability, and uses $\tilde{O}(\log n)$ random bits in total. The runtime of our protocol is tight, and the randomness requirement of $\tilde{O}(\log n)$ random bits almost matches the lower bound of $\Omega(\log n)$ random bits for dense graphs. We further show that, for many graph families, polylogarithmic number of random bits in total suffice to spread the rumor in $O(\mathrm{poly}\log n)$ rounds. These results together give us an almost complete understanding of the randomness requirement of this fundamental gossip process. Our analysis relies on unexpectedly tight connections among gossip processes, Markov chains, and branching programs. First, we establish a connection between rumor spreading processes and Markov chains, which is used to approximate the rumor spreading time by the mixing time of Markov chains. Second, we show a reduction from rumor spreading processes to branching programs, and this reduction provides a general framework to derandomize gossip processes. In addition to designing rumor spreading protocols, these novel techniques may have applications in studying parallel and multiple random walks, and randomness complexity of distributed algorithms.Comment: 41 pages, 1 figure. arXiv admin note: substantial text overlap with arXiv:1304.135

How asynchrony affects rumor spreading time

International audienceIn standard randomized (push-pull) rumor spreading, nodes communicate in synchronized rounds. In each round every node contacts a random neighbor in order to exchange the rumor (i.e., either push the rumor to its neighbor or pull it from the neighbor). A natural asynchronous variant of this algorithm is one where each node has an independent Poisson clock with rate 1, and every node contacts a random neighbor whenever its clock ticks. This asynchronous variant is arguably a more realistic model in various settings, including message broadcasting in communication networks, and information dissemination in social networks. In this paper we study how asynchrony affects the rumor spreading time, that is, the time before a rumor originated at a single node spreads to all nodes in the graph. Our first result states that the asynchronous push-pull rumor spreading time is asymptotically bounded by the standard synchronous time. Precisely, we show that for any graph G on n nodes, where the synchronous push-pull protocol informs all nodes within T (G) rounds with high probability, the asynchronous protocol needs at most time O(T (G) + log n) to inform all nodes with high probability. On the other hand, we show that the expected synchronous push-pull rumor spreading time is bounded by O(√ n) times the expected asynchronous time. These results improve upon the bounds for both directions shown recently by Acan et al. (PODC 2015). An interesting implication of our first result is that in regular graphs, the weaker push-only variant of synchronous rumor spreading has the same asymptotic performance as the synchronous push-pull algorithm

Who started this rumor? Quantifying the natural differential privacy guarantees of gossip protocols

Gossip protocols are widely used to disseminate information in massive peer-to-peer networks. These protocols are often claimed to guarantee privacy because of the uncertainty they introduce on the node that started the dissemination. But is that claim really true? Can the source of a gossip safely hide in the crowd? This paper examines, for the first time, gossip protocols through a rigorous mathematical framework based on differential privacy to determine the extent to which the source of a gossip can be traceable. Considering the case of a complete graph in which a subset of the nodes are curious, we study a family of gossip protocols parameterized by a ``muting'' parameter $s$: nodes stop emitting after each communication with a fixed probability $1-s$. We first prove that the standard push protocol, corresponding to the case $s=1$, does not satisfy differential privacy for large graphs. In contrast, the protocol with $s=0$ achieves optimal privacy guarantees but at the cost of a drastic increase in the spreading time compared to standard push, revealing an interesting tension between privacy and spreading time. Yet, surprisingly, we show that some choices of the muting parameter $s$ lead to protocols that achieve an optimal order of magnitude in both privacy and speed. We also confirm empirically that, with appropriate choices of $s$, we indeed obtain protocols that are very robust against concrete source location attacks while spreading the information almost as fast as the standard (and non-private) push protocol

Rumor spreading: robustness and limiting distributions

In this thesis, we study mathematical aspects of information dissemination. The four collected works investigate randomized rumor spreading with regard to its robustness and asymptotic runtime as well as adversarial effects on opinion forming. In the first contribution, Robustness of Randomized Rumor Spreading, we investigate the popular randomized rumor spreading algorithms push, pull and pushpull. These are used to spread information quickly through large networks, typically modelled by graphs. Starting with one informed vertex and depending on the used algorithm the information is spread in a round based manner. Using push, every informed vertex chooses a random neighbour and passes the information forward. With pull, each vertex yet uninformed connects to a randomly chosen neighbor and receives the information, if the vertex it connected to is informed. pushpull is a combination of push and pull. Every vertex chooses a random neighbour, if one of them is informed then the other will be informed as well. Their advantages over deterministic algorithms are, that they are easy to implement, fast and very robust against failures. However, there is only sporadic information available to substantiate the claimed robustness. The aim of this work is to close this gap. To that end, three orthogonal properties and their effects on the speed of the dissemination are studied. First, we show that the density of the graph does not play an important role. For fast dissemination it is not relevant how many edges there are, but how evenly they are distributed in the graph. Thus, a network could have many faulty connections, but as long as the remaining ones are spread evenly the speed of the dissemination is not significantly impacted. This begs the question how evenly the remaining edges need to be spread to guarantee a fast dissemination. Surprisingly, the answer to this question is not the same for all three rumor spreading algorithms. pull and pushpull are very robust. Starting from a graph with evenly distributed edges and thus fast dissemination one may introduce irregularities by deleting up to one half of all edges at each node and the dissemination remains fast. However, for push the dissemination already slows down significantly if only few irregularities are introduced. Lastly, we additionally consider random message transmission failures. From previous works, we know that on "nice" graphs all three algorithms only slow down proportionally to the failure probability. However, when considering the effect of density and irregularities together with transmission failures, the picture changes once more. pull alone retains its fast dissemination. With a suitable choice of parameters, pushpull similar to \push can be slowed down significantly. Thus, we can not unconditionally confirm the claimed robustness for all three rumor spreading algorithms, only pull proved to be robust against all introduced challenges, push and pushpull, however, did not. In the second contribution, Asymptotics for Push on the Complete Graph, we move from the general approach of quantifying the robustness of all three randomized rumor spreading algorithms on a broad range of networks to very precisely describing the runtime of push on complete graphs only. Thereby, the runtime is defined as the time until the information is disseminated to all vertices in the graph. In this work, we completely describe the limiting distribution of the runtime of push on the complete graph in terms of a Gumbel distributed random variable. We made a surprising observation, the asymptotic distribution does not converge everywhere, only on suitable subsequences. This results in the phenomena, that the expected runtime is not constant either but infimum and supremum over all n differ by about 10^-4. After successfully solving push on the complete graph, a natural question is to ask whether the same can be achieved for other rumor spreading algorithms. The third contribution, Asymptotics for Pull on the Complete Graph, answers this question for pull, describing the asymptotic distribution of the runtime of pull on the complete graph in terms of a martingale limit. Again we observed that the limiting distribution only exists on suitable subsequences. We study the expected runtime numerically, finding strong evidence that it is not constant either. The last contribution, The Effect of Iterativity on Adversarial Opinion Forming, deviates from the previously considered model and introduces a second competing piece of information. We interpret them as opinions and assume one to be the truth and the other one to be a falsehood. The opinions are spread through the network by a simple majority rule, i.e. uninformed vertices take the majority opinion of their informed neighbours. Known properties that guarantee robustness are the degree being sufficiently bounded or the edges being evenly distributed. The question considered in this contribution is whether an alternative iterative dissemination process influences robustness. Alon et al. conjecture that iterativity is always beneficial for the adversary. We refute that conjecture by giving a graph where iterativity benefits robustness.In dieser Arbeit beschäftigen wir uns mit mathematischen Aspekten der Informationsverbreitung in Netzwerken. Die vier gesammelten Beiträge untersuchen randomisierte Gerüchteverbreitungsalgorithmen hinsichtlich ihrer Robustheit und asymptotischen Laufzeit, sowie gegnerische Auswirkungen auf die Meinungsbildung. Der erste Beitrag, Robustness of Randomized Rumor Spreading, befasst sich mit den populären randomisierten Gerüchteverbreitungsalgorithmen Push, Pull und Push&Pull. Diese werden dazu verwendet, um Informationen schnell durch große, als Graphen modellierte Netzwerke zu verteilen. Beginnend mit einem informierten Knoten und in Runden verfahrend, werden die Informationen abhängig vom verwendeten Algorithmus verteilt. Wird \push benutzt, so wählt jeder informierte Knoten einen zufälligen Nachbarn und gibt die Information weiter. Mit Pull wählen uninformierte Knoten zufällige Nachbarn und werden informiert, falls der gewählte Nachbar informiert ist. Push&Pull ist eine Kombination aus Push und Pull. Jeder Knoten wählt einen zufälligen Nachbarn aus, ist einer der beiden informiert, so wird auch der andere informiert. Mit einer einfachen Implementierung, hohen Geschwindigkeit und einer starken Robustheit heben sich die randomisierten Gerüchteverbreitungsalgorithmen positiv von deterministischen Algorithmen ab. Bisher liegen jedoch nur sporadische Informationen vor, um die beobachtete Robustheit auch rigoros zu belegen. Ziel dieser Arbeit ist es, diese Lücke zu schließen. Dafür betrachten wir drei verschiedene, strukturelle Eigenschaften der Graphen, um deren Auswirkungen auf die Geschwindigkeit der Verbreitung zu studieren. Als erstes Ergebnis zeigen wir, dass die Dichte des Netzwerks keinen nennenswerten Einfluss hat. Für eine schnelle Verbreitung der Informationen ist nicht die Anzahl der Kanten relevant, sondern deren gleichmäßige Verteilung. Ein Netzwerk könnte folglich viele fehlerhafte Verbindungen haben, aber solange die verbleibenden Verbindungen gleichmäßig verteilt sind, wird die Verbreitung nicht wesentlich verlangsamt. Dies regt die Untersuchung an, wie gleichmäßig die verbleibenden Kanten sein müssen, um eine schnelle Verbreitung zu gewährleisten. Wider Erwarten konnten wir Unterschiede in Abhängigkeit des gewählten Gerüchteverbreitungsalgorithmus aufzeigen. Pull und Push&Pull sind sehr widerstandsfähig. Denn ausgehend von einem „schönen“ Graph mit gleichmäßig verteilten Kanten können durch Löschen von Kanten Unregelmäßigkeiten eingebracht werden durch die sich die Geschwindigkeit der Gerüchteverbreitung nicht nennenswert verändert. Im Gegensatz dazu verlangsamt sich die Verbreitung mit Push bereits erheblich, wenn nur wenige Unregelmäßigkeiten auftreten. Abschließend befassen wir uns ergänzend mit zufällig auftretenden Übertragungsfehlern. Aus früheren Arbeiten wissen wir, dass sich bei „schönen“ Graphen alle drei Algorithmen nur proportional zur Ausfallswahrscheinlichkeit verlangsamen. Betrachten wir hingegen die Auswirkungen der Dichte und der Unregelmäßigkeiten mit Übertragungsfehlern zusammen, entsteht eine neue Sachlage. Dabei behält nur Pull seine schnelle Verbreitung bei, Push&Ppull kann bei einer entsprechenden Wahl der Parameter ähnlich wie Push verlangsamt werden. Somit ist eine Bestätigung der behaupteten Robustheit der drei Gerüchteverbreitungsalgorithmen nicht bedingungslos möglich. Lediglich Pull erwies sich als widerstandsfähig gegenüber allen betrachteten Problemen, Push und Push&Pull jedoch nicht. Im zweiten Beitrag, Asymptotics for Push on the Complete Graph, gehen wir vom allgemeinen Ansatz der Beschreibung der Robustheit aller drei randomisierten Gerüchteverbreitungsalgorithmen auf einem breiten Spektrum von Netzwerken zu einer sehr präzise Beschreibung der Laufzeit von Push auf vollständigen Graphen über. Dabei definiert sich die Laufzeit als die Zeit, in der die Information an alle Knoten im Graph verteilt wird. In dieser Arbeit beschreiben wir die Grenzverteilung der Laufzeit von Push auf dem vollständigen Graph. Dabei haben wir eine überraschende Beobachtung gemacht, denn die asymptotische Verteilung konvergiert nicht überall, sondern nur auf geeigneten Teilfolgen. Dies resultiert in dem Phänomen, dass die erwartete Laufzeit nicht konstant ist, vielmehr unterscheiden sich Supremum und Infimum über alle n um ungefähr 10^-4. Nach dieser erkenntnisreichen Arbeit stellt sich die natürliche Frage, ob dasselbe für die anderen Gerüchteverbreitungsalgorithmen gilt. Die daran anschließende Arbeit Asymptotics for Pull on the Complete Graph bejaht die aufgeworfene Frage für Pull, indem die asymptotische Verteilung der Laufzeit von Pull auf vollständigen Graph mit Hilfe eines Martingalgrenzwertes beschrieben wird. Ferner wird beobachtet, dass die Grenzverteilung nur auf geeigneten Teilfolgen existiert. Die erwartete Laufzeit wird mit Hilfe dieser Beschreibungen empirisch untersucht, wobei es eine starke Evidenz gibt, dass auch diese nicht konstant ist. Der letzte Beitrag, The Effect of Iterativity on Adversarial Opinion Forming, weicht vom bisher betrachteten Modell ab und führt eine zweite, konkurrierende Information ein. Diese interpretieren wir als Meinungen und nehmen eine davon als wahr an. Die Meinungen werden durch eine einfache Mehrheitsregel im Netzwerk verbreitet, d.h. uninformierte Knoten nehmen die Mehrheitsmeinung ihrer informierten Nachbarn an. Dabei sehen wir ein Netzwerk als robust an, wenn selbst ein Kontrahent die anfangs informierten Knoten nur so wählen kann, dass am Ende der Verbreitung stets die Mehrheit der Knoten von der Wahrheit überzeugt ist. Bekannte Beispiele robuster Netzwerke sind solche mit hinreichend beschränkten Knotengraden oder mit ausreichend gleichmäßig verteilten Kanten. In unserem Beitrag betrachten wir die Frage, inwiefern Robustheit durch einen alternativen, iterativen Verbreitungsprozess beeinflusst wird. Alon et al. vermuten eine negative Auswirkung von Iteration auf Robustheit. Wir widerlegen diese Vermutung durch Konstruktion eines Graphen, auf welchem ein iterativer Prozess die Verbreitung der Wahrheit begünstigt

On Differentially Private Counting on Trees

We study the problem of performing counting queries at different levels in hierarchical structures while preserving individuals\u27 privacy. Motivated by applications, we propose a new error measure for this problem by considering a combination of multiplicative and additive approximation to the query results. We examine known mechanisms in differential privacy (DP) and prove their optimality, under this measure, in the pure-DP setting. In the approximate-DP setting, we design new algorithms achieving significant improvements over known ones