Crowdsourced network measurements: Benefits and best practices

Network measurements are of high importance both for the operation of networks and for the design and evaluation of new management mechanisms. Therefore, several approaches exist for running network measurements, ranging from analyzing live traffic traces from campus or Internet Service Provider (ISP) networks to performing active measurements on distributed testbeds, e.g., PlanetLab, or involving volunteers. However, each method falls short, offering only a partial view of the network. For instance, the scope of passive traffic traces is limited to an ISP’s network and customers’ habits, whereas active measurements might be biased by the population or node location involved. To complement these techniques, we propose to use (commercial) crowdsourcing platforms for network measurements. They permit a controllable, diverse and realistic view of the Internet and provide better control than do measurements with voluntary participants. In this study, we compare crowdsourcing with traditional measurement techniques, describe possible pitfalls and limitations, and present best practices to overcome these issues. The contribution of this paper is a guideline for researchers to understand when and how to exploit crowdsourcing for network measurements

Автоматизация процесса выбора лекарственных препаратов на основе экспертных знаний

Материалы XX Междунар. науч.-техн. конф. студентов, аспирантов и молодых ученых, Гомель, 23–24 апр. 2020 г

Angry Apps: The Impact of Network Timer Selection on Power Consumption, Signalling Load, and Web QoE

The popularity of smartphones and mobile applications has experienced a considerable growth during the recent years, and this growth is expected to continue in the future. Since smartphones have only very limited energy resources, battery efficiency is one of the determining factors for a good user experience. Therefore, some smartphones tear down connectionsto the mobile network soon after a completed data transmission to reduce the power consumption of their transmission unit. However, frequent connection reestablishments caused by apps which send or receive small amounts of data often lead to a heavy signalling load within the mobile network. One of the major contributions of this paper is the investigation of the resulting tradeoff between energy consumption at the smartphone and the generated signalling traffic in the mobile network. We explain that this tradeoff can be controlled by the connection release timeout and study the impact of this parameter for a number of popular apps that cover a wide range of traffic characteristics in terms of bandwidth requirements and resulting signalling traffic. Finally, we study the impact of the timer settings on Quality of Experience (QoE) for web traffic. This is an important aspect since connection establishments not only lead to signalling traffic but also increase the load time of web pages

A Survey of PCN-Based Admission Control and Flow Termination

Pre-congestion notification (PCN) provides feedback\ud about load conditions in a network to its boundary nodes. The PCN working group of the IETF discusses the use of PCN to implement admission control (AC) and flow termination (FT) for prioritized realtime traffic in a DiffServ domain. Admission control (AC) is a well-known flow control function that blocks admission requests of new flows when they need to be carried over a link whose admitted PCN rate already exceeds an admissible rate. Flow termination (FT) is a new flow control function that terminates some already admitted flows when they are carried over a link whose admitted PCN rate exceeds a supportable rate. The latter condition can occur in spite of AC, e.g., when traffic is rerouted due to network failures.\ud This survey gives an introduction to PCN and is a primer for\ud this new technology. It presents and discusses the multitude of architectural design options in an early stage of the standardization process in a comprehensive and streamlined way before only a subset of them is standardized by the IETF. It brings PCN from the IETF to the research community and serves as historical record

Leistungsbewertung und Optimierung von Overlay Netzwerken zum Verteilen großer Datenmengen

The work presents a performance evaluation and optimization of so-called overlay networks for content distribution in the Internet. Chapter 1 describes the importance which have such networks in today's Internet, for example, for the transmission of video content. The focus of this work is on overlay networks based on the peer-to-peer principle. These are characterized by the fact that users who download content, also contribute to the distribution process by sharing parts of the data to other users. This enables efficient content distribution because each user not only consumes resources in the system, but also provides its own resources. Chapter 2 of the monograph contains a detailed description of the functionality of today's most popular overlay network BitTorrent. It explains the various components and their interaction. This is followed by an illustration of why such overlay networks for Internet service providers (ISPs) are problematic. The reason lies in the large amount of inter-ISP traffic that is produced by these overlay networks. Since this inter-ISP traffic leads to high costs for ISPs, they try to reduce it by improved mechanisms for overlay networks. One optimization approach is the use of topology awareness within the overlay networks. It provides users of the overlay networks with information about the underlying physical network topology. This allows them to avoid inter-ISP traffic by exchanging data preferrentially with other users that are connected to the same ISP. Another approach to save inter-ISP traffic is caching. In this case the ISP provides additional computers in its network, called caches, which store copies of popular content. The users of this ISP can then obtain such content from the cache. This prevents that the content must be retrieved from locations outside of the ISP's network, and saves costly inter-ISP traffic in this way. In the third chapter of the thesis, the results of a comprehensive measurement study of overlay networks, which can be found in today's Internet, are presented. After a short description of the measurement methodology, the results of the measurements are described. These results contain data on a variety of characteristics of current P2P overlay networks in the Internet. These include the popularity of content, i.e., how many users are interested in specific content, the evolution of the popularity and the size of the files. The distribution of users within the Internet is investigated in detail. Special attention is given to the number of users that exchange a particular file within the same ISP. On the basis of these measurement results, an estimation of the traffic savings that can achieved by topology awareness is derived. This new estimation is of scientific and practical importance, since it is not limited to individual ISPs and files, but considers the whole Internet and the total amount of data exchanged in overlay networks. Finally, the characteristics of regional content are considered, in which the popularity is limited to certain parts of the Internet. This is for example the case of videos in German, Italian or French language. Chapter 4 of the thesis is devoted to the optimization of overlay networks for content distribution through caching. It presents a deterministic flow model that describes the influence of caches. On the basis of this model, it derives an estimate of the inter-ISP traffic that is generated by an overlay network, and which part can be saved by caches. The results show that the influence of the cache depends on the structure of the overlay networks, and that caches can also lead to an increase in inter-ISP traffic under certain circumstances. The described model is thus an important tool for ISPs to decide for which overlay networks caches are useful and to dimension them. Chapter 5 summarizes the content of the work and emphasizes the importance of the findings. In addition, it explains how the findings can be applied to the optimization of future overlay networks. Special attention is given to the growing importance of video-on-demand and real-time video transmissions.Die Arbeit beschäftigt sich mit der Leistungsbewertung und Optimierung von sogenannten Overlay-Netzwerken zum Verteilen von großen Datenmengen im Internet. Im Kapitel 1 der Arbeit wird die große Bedeutung erläutert, die solche Netzwerke im heutigen Internet haben, beispielsweise für die Übertragung von Video-Inhalten. Im Fokus der Arbeit liegen Overlay-Netzwerke, die auf dem Peer-to-peer Prinzip basieren. Diese zeichnen sich dadurch aus, dass Nutzer, die Inhalte herunterladen, auch gleichzeitig an dem Verteilprozess teilnehmen, indem sie Teile der Daten an andere Nutzer weitergeben. Dies ermöglicht eine effiziente Verteilung der Daten, weil jeder Nutzer nicht nur Ressourcen im System belegt, sondern auch eigene Ressourcen einbringt. Kapitel 2 der Arbeit enthält eine detaillierte Beschreibung der Funktionsweise des heute populärsten Overlay-Netzwerks BitTorrent. Es werden die einzelnen Komponenten erläutert und deren Zusammenspiel erklärt. Darauf folgt eine Darstellung, warum solche Overlay-Netzwerke für Internet-Anbieter (Internet service provider, ISP) problematisch sind. Der Grund dafür liegt in der großen Menge an Inter-ISP Verkehr, den diese Overlays erzeugen. Da solcher Inter-ISP Verkehr zu hohen Kosten für ISPs führt, versuchen diese den Inter-ISP Verkehr zu reduzieren, indem sie die Mechanismen der Overlay-Netzwerke optimieren. Ein Ansatz zur Optimierung ist die Verwendung von Topologiebewusstsein innerhalb der Overlay-Netzwerke. Dabei erhalten die Nutzer der Overlay-Netzwerke Informationen über die zugrunde liegende, physikalische Netzwerktopologie. Diese ermöglichen es ihnen, Inter-ISP Verkehr zu vermeiden, indem sie Daten bevorzugt mit anderen Nutzern austauschen, die mit dem gleichen ISP verbunden sind. Ein weiterer Ansatz, um Inter-ISP Verkehr einzusparen, ist Caching. Dabei stellt der ISP zusätzliche Rechner, sogenannte Caches, in seinem Netzwerk zur Verfügung, die Kopien populärer Inhalte zwischenspeichern. Die Nutzer dieses ISP können solche Inhalte nun von den Caches beziehen. Dies verhindert, dass populäre Inhalte mehrfach von außerhalb des betrachteten ISPs bezogen werden müssen, und spart so kostenintensiven Inter-ISP Verkehr ein. Im dritten Kapitel der Arbeit werden Ergebnisse einer umfassenden Messung von Overlay-Netzwerken vorgestellt, wie sie heute im Internet anzutreffen sind. Nach einer kurzen Darstellung der bei der Messung verwendeten Methodik werden die Resultate der Messungen beschrieben. Diese Ergebnisse enthalten Daten über eine Vielzahl von Eigenschaften von heutigen P2P-basierten Overlay-Netzwerken im Internet. Dazu zählen die Popularität von Inhalten, d.h., wie viele Nutzer an bestimmten Inhalten interessiert sind, die zeitliche Entwicklung der Popularität und die Größe der Daten. Im Detail wird auch die Verteilung der Nutzer über das Internet analysiert. Ein besonderes Augenmerk liegt dabei auf der Anzahl der Nutzer, die gleichzeitig und im Netz desselben ISP eine bestimmte Datei tauschen. Auf der Basis dieser Messergebnisse wird eine Abschätzung durchgeführt, welches Einsparpotential die Optimierung von Overlay-Netzwerken durch Topologiebewusstsein bietet. Diese neuartige Abschätzung ist von wissenschaftlicher und praktischer Bedeutung, da sie sich nicht auf einzelne ISPs und Dateien beschränkt, sondern des gesamte Internet und die Menge aller in Overlay-Netzwerken verfügbaren Dateien umfasst. Schließlich werden die Besonderheiten von regionalen Inhalten betrachtet, bei denen sich die Popularität auf bestimmte Teile des Internets beschränkt. Dies ist beispielsweise bei Videos in deutscher, italienischer oder französischer Sprache der Fall. Kapitel 4 der Arbeit widmet sich der Optimierung von Overlay-Netzwerken zum Verteilen großer Datenmengen durch Caching. Es wird ein deterministisches Flussmodel entwickelt, das den Einfluss von Caches beschreibt. Auf der Basis dieses Modells leitet er eine Abschätzung des Inter-ISP Verkehrs ab, der von einem Overlay-Netzwerk erzeugt wird, und welcher Teil davon durch Caches eingespart werden kann. Die Ergebnisse zeigen, dass der Einfluss von Caches von der Struktur der Overlay-Netzwerke abhängt und dass Caches unter bestimmten Umständen auch zu einem erhöhten Inter-ISP Verkehr führen können. Das beschriebene Modell ist somit ein wichtiges Hilfsmittel für ISPs um zu entscheiden, für welche Overlay-Netzwerke Caches sinnvoll sind, und um diese anschließend richtig zu dimensionieren. Kapitel 5 fasst den Inhalt der Arbeit zusammen und stellt die Bedeutung der gewonnenen Erkenntnisse heraus. Abschließend wird erläutert, in welcher Weise die in der Arbeit beschriebenen Ergebnisse wichtige Grundlagen für die Optimierung von zukünftigen Overlay-Netzwerken darstellen werden. Dabei wird besonders auf die wachsende Bedeutung von Video-On-Demand und Echt-Zeit Video-Übertragungen eingegangen

Marking Conversion for Pre-Congestion Notification

Abstract—Pre-congestion notification (PCN) defines admissible rates (AR) and supportable rates (SR) per link and marks the PCN traffic rate above these thresholds as AR- or SR-overload. The IETF standardizes simple mechanisms for admission control (AC) and flow termination (FT) based on this PCN-feedback for high-priority DiffServ traffic. While admission control (AC) has been extensively discussed in the literature, flow termination (FT) is a new control function. In this paper we propose an algorithm that converts marked AR-overload into marked SRoverload by unmarking appropriate packets. Classic marked flow termination (MFT) is based on marked SR-overload and works well even with a small number of PCN flows per ingress-egress aggregate and in case of multipath routing. Thanks to the new marking converter MFT also works with marked AR-overload so that a single marking scheme suffices to support AC and FT. We investigate whether MFT with marking conversion based on AR-overload retains the benefits classic MFT. I