Appmon: Μια Εφαρμογή για τη Ακριβή Ταξινόμηση της Κυκλοφορίας του δικτύου ανά-Εφαρμογή

ccurate per-application network traffic characterization is becoming increasingly difficult in the face of emerging applications that use dynamically negotiated port numbers. At the same time, information about the contribution of different network applications and services to the traffic mix is highly demanded by network administrators for facilitating effective network management and traffic engineering. In this thesis we present /appmon/, a passive monitoring application for perapplication network traffic classification. /Appmon /uses deep packet inspection to accurately attribute traffic flows to the applications that generate them, and reports in real time the network traffic breakdown through a Web-based GUI. /Appmon// /manages to classify traffic up to Gigabit speeds and shows a steady performance when monitoring a real network environment. /Appmon /is easy to configure and deploy, and is publicly available as an open source application. Using /appmon /deployed sensors we were able to collect a large amount of traffic data. We present the results extracted from the analysis of data collected from the academic networks of three different countries and try to understand the trends in real world networks.Ο ακριβής χαρακτηρισμός της κυκλοφορίας του δικτύου ανά την εφαρμογή που τη δημιούργησε, γίνεται όλο και περισσότερο δύσκολος με την εμφάνιση όλο και περισσότερων εφαρμογών που χρησιμοποιούν δυναμικές θύρες για τη μεταφορά των δεδομένων τους. Συγχρόνως, οι πληροφορία για τη συμβολή των διαφορετικών εφαρμογών δικτύου στο μίγμα κυκλοφορίας απαιτείται από τους διαχειριστές δικτύων για τη διευκόλυνση και πιο αποτελεσματική διαχείρισης τόσο του δικτύου όσο και της κυκλοφορίας του. Σε αυτήν την εργασία παρουσιάζουμε το /appmon/, μια εφαρμογή παθητικής επίβλεψης για την ακριβή ταξινόμηση της κυκλοφορίας του δικτύου ανά-εφαρμογή. Το /Appmon/ κάνει βαθιά εξέταση των πακέτων για να αποδώσει ακριβώς τις ροές κυκλοφορίας στις εφαρμογές που τις παράγουν, και παρουσιάζει σε πραγματικό χρόνο την ανάλυση της κυκλοφορίας του δικτύου μέσο μίας διεπαφής παγκόσμιου ιστού. Το /Appmon / κατορθώνει να ταξινομήσει την κυκλοφορία ακόμη και σε Gigabit ταχύτητες και παρουσιάζει σταθερότητα κατά την επίβλεψη ενός πραγματικού δικτύου. Το /Appmon/ είναι εύκολο να εγκατασταθεί και να επεκταθεί, και είναι διαθέσιμο ως εφαρμογή ανοικτού κώδικα. Εγκαθιστώντας το /appmon/ σε αρκετά συστήματα εποπτείας είμαστε σε θέση να μαζέψουμε ένα μεγάλο αριθμό πληροφοριών για τη κυκλοφορία του δικτύου. Παρουσιάζουμε αποτελέσματα από την ανάλυση πληροφοριών που συλλέχθηκαν από τα ακαδημαϊκά δίκτυα διαφορετικών χωρών και προσπαθούμε να καταλάβουμε τις τάσεις στα πραγματικά δίκτυα

Κατανόηση των υπηρεσιών διαμοιρασμού αρχείων και πληροφορίας

Web 2.0 reflects the current practices in web page design and usage that turned the web into an application platform and enabled users to create social communities. In this dissertation we examine two widely used mechanisms that enable file and information sharing in web 2.0. Furthermore, we illustrate the design and applicability of a new technique for performing distributed measurement and monitoring tasks. First, we look at One-Click Hosting (OCH) services, a relatively new type of services, such as RapidShare and MegaUpload, which offer users the ability to share files through centralized servers. OCH services are continuously increasing and challenge the dominant usage of peer-to-peer (p2p) systems for file sharing. Our study uses a combination of passive and active measurements, and tries to understand OCH service’s architecture, usage patterns and content characteristics. Furthermore, we compare RapidShare, the leading OCH platform, with BitTorrent in terms of user-perceived throughput and content availability, and explore the characteristics of some popular RapidShare indexing sites, a fundamental component for content discovery. Second, we provide a wide characterization study of URL shortening services, a number of services, especially popular within online social networks that keep a mapping of submitted URLs to shorter equivalents and redirect users to the original URL upon request. Using traces of short URLs collected both from crawling a number of URL shortening services, and collecting short URLs that appear in Twitter messages, we analyze the usage of short URLs in general and in the context of certain social communities. Furthermore, we challenge the performance benefits and implications of their wide usage. Finally, we present MOR, a technique for performing distributed measurement and monitoring tasks using the geographically diverse infrastructure of the Tor anonymizing network. MOR evolved during our study of One-Click Hosting services and the need for examining their infrastructure properties. Not limited to that analysis, we also provide a number of case studies that show the applicability and value of MOR in examining Internet services and detecting network neutrality violations. The results of this research are the following. First, we show that OCH services have all the means to compete with p2p systems for becoming the dominant file sharing platform. While built on a typical web data-center infrastructure, their usage patterns suggest little benefit from deploying a more distributed infrastructure. Second, through the study of URL shortening services we observe that short URLs reflect an “alternative” web, with different popularity and lifetime patterns, compared to access patterns as seen for the traditional web community. Overall, our work highlights that if both these services continue to increase they will become part of the web’s critical infrastructure with profound impact in its usage and performance, creating a need for the study and development of alternative architectures and distribution methods.Ο όρος web 2.0 αντικατοπτρίζει τις τρέχουσες πρακτικές στο σχεδιασμό και τη χρήση ιστοσελίδων, οι οποίες οδήγησαν στη μετατροπή του Παγκόσμιου Ιστού σε πλατφόρμα εφαρμογών και επέτρεψαν στους χρήστες του να δημιουργήσουν κοινωνικά δίκτυα και ομάδες. Στη διατριβή αυτή εξετάζουμε δυο ευρέως διαδεδομένους μηχανισμούς που επιτρέπουν το διαμοιρασμό αρχείων και πληροφορίας στο web 2.0. Επιπλέον, παρουσιάζουμε το σχεδιασμό και την εφαρμοσιμότητα μιας νέας τεχνικής που δίνει τη δυνατότητα για την εκτέλεση κατανεμημένων μετρήσεων και διαδικασιών επίβλεψης δικτύων. Αρχικά, εξετάζουμε τις υπηρεσίες One-Click Hosting (OCH), ένα σχετικά νέο τύπο υπηρεσιών οι οποίες προσφέρουν στους χρήστες τη δυνατότητα να μοιράζονται αρχεία μέσω ενός κεντρικοποιημένου συστήματος εξυπηρετητών. Η χρήση τέτοιων υπηρεσιών αυξάνει συνεχώς τα τελευταία χρόνια και τις έχει φέρει σε "θέση να απειλούν την πρωτοκαθεδρία των συστημάτων peer-to-peer (p2p) στο τομέα του διαμοιρασμού αρχείων μεταξύ των χρηστών του Διαδικτύου. Στη μελέτη μας, μέσω ενός συνδυασμού από παθητικές και ενεργητικές μετρήσεις, προσπαθούμε να κατανοήσουμε την αρχιτεκτονική των OCH υπηρεσιών, τα πρότυπα χρήσης τους και τα χαρακτηριστικά του περιεχομένου το οποίο ανταλλάζεται μέσω αυτών. Επιπλέον, συγκρίνουμε τις ταχύτητες μετάδοσης και τη διαθεσιμότητα περιεχομένου, στο RapidShare, την δημοφιλέστερη OCH υπηρεσία, όπως αυτές τις αντιλαμβάνονται οι χρήστες του με τις αντίστοιχες που αντιλαμβάνονται οι χρήστες του BitTorrent. Τέλος, διερευνούμε τα χαρακτηριστικά μερικών δημοφιλών ιστοσελίδων-ευρετήρια, οι οποίες αποτελούν ένα θεμελιώδες κομμάτι της διαδικασίας ανακάλυψης περιεχομένου στο RapidShare. Στη συνέχεια προχωράμε σε μια μελέτη κατανόησης των υπηρεσιών URL shortening, ένα είδος υπηρεσιών, ευρέως διαδεδομένα στις υπηρεσίες κοινωνικής δικτύωσης, οι οποίες κρατάνε την αντιστοίχηση ενός URL σε ένα μικρότερο ισοδύναμο και ανακατευθύνουν τους χρήστες στο αρχικό URL όταν αυτοί το ζητήσουν. Χρησιμοποιώντας δεδομένα για τα short URLs που μαζέψαμε μέσω επισκέψεων σε ένα αριθμό από URL shortening υπηρεσίες, αλλά και συλλέγοντας short URLs που εμφανίστηκαν σε μηνύματα στο Twitter, καταφέρνουμε να αναλύσουμε τη χρήση των short URLs γενικότερα στο Παγκόσμιο Ιστό, όσο και στο πλαίσιο συγκεκριμένων κοινωνικών ομάδων. Επίσης, μελετάμε τα πλεονεκτήματα της χρήσης των short URLs αλλά και τις επιπτώσεις που προκύπτουν από αυτή. Τέλος, παρουσιάζουμε το MOR, μια τεχνική που δίνει τι δυνατότητα για την εκτέλεση κατανεμημένων μετρήσεων και διαδικασιών επίβλεψης δικτύων χρησιμοποιώντας τη γεωγραφικώς κατανεμημένη υποδομή του διχτύου ανώνυμης πρόσβασης, ToR. To MOR αναπτύχθηκε κατά τη διάρκεια της μελέτης των υπηρεσιών One-Click Hosting, μέσα από την ανάγκη για κατανόηση της υποδομής των υπηρεσιών αυτών. Επιπλέον αυτού, παρουσιάζουμε έναν αριθμό από περιπτώσεις που δείχνουν την εφαρμοσιμότητα και τις δυνατότητες που προσφέρει το MOR στην εξέταση διαφόρων διαδικτυακών υποδομών καθώς και στη ανίχνευση παραβιάσεων της ουδετερότητας του Διαδικτύου. Τα αποτελέσματα της έρευνας μας μπορούν να συνοψιστούν στα ακόλουθα. Πρώτο, δείχνουμε ότι οι υπηρεσίες OCH έχουν όλες τις προϋποθέσεις για να ανταγωνιστούν τα συστήματα p2p και να γίνουν η κύρια πλατφόρμα διαμοιρασμού αρχείων στο διαδίκτυο. Τα πρότυπα χρήσης τους δείχνουν ότι η ανάπτυξη μιας κατανεμημένης υποδομής δε θα οδηγούσε σε σημαντικά οφέλη, και δικαιώνουν την επιλογή μιας τυπικής web υποδομής. Δεύτερο, μέσω της μελέτης των υπηρεσιών URL shortening παρατηρούμε ότι η χρήση των short URLs αντικατοπτρίζει ένα «εναλλακτικό» ιστό, με διαφορετικά πρότυπα δημοτικότητας και διάρκειας ζωής, σε σχέση με τα αντίστοιχα στο παραδοσιακό Παγκόσμιο Ιστό. Συνολικά, η δουλειά μας τονίζει πως εάν η χρήση των δύο αυτών υπηρεσιών συνεχίζει να αυξάνει τότε οι υπηρεσίες θα γίνουν μέρος της υποδομής ζωτικής σημασίας του Παγκόσμιου Ιστού, με σημαντικές επιπτώσεις τόσο στην χρήση όσο και στην απόδοσή του. Οι επιπτώσεις αυτές δημιουργούν την ανάγκη για τη μελέτη και ανάπτυξη εναλλακτικών web αρχιτεκτονικών και μεθόδων διαμοιρασμού

Appmon: Μια Εφαρμογή για τη Ακριβή Ταξινόμηση της Κυκλοφορίας του δικτύου ανά-Εφαρμογή

ccurate per-application network traffic characterization is becoming increasingly difficult in the face of emerging applications that use dynamically negotiated port numbers. At the same time, information about the contribution of different network applications and services to the traffic mix is highly demanded by network administrators for facilitating effective network management and traffic engineering. In this thesis we present /appmon/, a passive monitoring application for perapplication network traffic classification. /Appmon /uses deep packet inspection to accurately attribute traffic flows to the applications that generate them, and reports in real time the network traffic breakdown through a Web-based GUI. /Appmon// /manages to classify traffic up to Gigabit speeds and shows a steady performance when monitoring a real network environment. /Appmon /is easy to configure and deploy, and is publicly available as an open source application. Using /appmon /deployed sensors we were able to collect a large amount of traffic data. We present the results extracted from the analysis of data collected from the academic networks of three different countries and try to understand the trends in real world networks.Ο ακριβής χαρακτηρισμός της κυκλοφορίας του δικτύου ανά την εφαρμογή που τη δημιούργησε, γίνεται όλο και περισσότερο δύσκολος με την εμφάνιση όλο και περισσότερων εφαρμογών που χρησιμοποιούν δυναμικές θύρες για τη μεταφορά των δεδομένων τους. Συγχρόνως, οι πληροφορία για τη συμβολή των διαφορετικών εφαρμογών δικτύου στο μίγμα κυκλοφορίας απαιτείται από τους διαχειριστές δικτύων για τη διευκόλυνση και πιο αποτελεσματική διαχείρισης τόσο του δικτύου όσο και της κυκλοφορίας του. Σε αυτήν την εργασία παρουσιάζουμε το /appmon/, μια εφαρμογή παθητικής επίβλεψης για την ακριβή ταξινόμηση της κυκλοφορίας του δικτύου ανά-εφαρμογή. Το /Appmon/ κάνει βαθιά εξέταση των πακέτων για να αποδώσει ακριβώς τις ροές κυκλοφορίας στις εφαρμογές που τις παράγουν, και παρουσιάζει σε πραγματικό χρόνο την ανάλυση της κυκλοφορίας του δικτύου μέσο μίας διεπαφής παγκόσμιου ιστού. Το /Appmon / κατορθώνει να ταξινομήσει την κυκλοφορία ακόμη και σε Gigabit ταχύτητες και παρουσιάζει σταθερότητα κατά την επίβλεψη ενός πραγματικού δικτύου. Το /Appmon/ είναι εύκολο να εγκατασταθεί και να επεκταθεί, και είναι διαθέσιμο ως εφαρμογή ανοικτού κώδικα. Εγκαθιστώντας το /appmon/ σε αρκετά συστήματα εποπτείας είμαστε σε θέση να μαζέψουμε ένα μεγάλο αριθμό πληροφοριών για τη κυκλοφορία του δικτύου. Παρουσιάζουμε αποτελέσματα από την ανάλυση πληροφοριών που συλλέχθηκαν από τα ακαδημαϊκά δίκτυα διαφορετικών χωρών και προσπαθούμε να καταλάβουμε τις τάσεις στα πραγματικά δίκτυα

Improving the Performance of Passive Network Monitoring Applications using Locality Buffering

Abstract—In this paper, we present a novel approach for improving the performance of a large class of CPU and memory intensive passive network monitoring applications, such as intrusion detection systems, traffic characterization applications, and NetFlow export probes. Our approach, called locality buffering, reorders the captured packets by clustering packets with the same destination port, before they are delivered to the monitoring application, resulting to improved code and data locality, and consequently to an overall increase in the packet processing throughput and to a decrease in the packet loss rate. We have implemented locality buffering within the widely used libpcap packet capturing library, which allows existing monitoring applications to transparently benefit from the reordered packet stream without the need to change application code. Our experimental evaluation shows that locality buffering improves significantly the performance of popular applications, such as the Snort IDS, which exhibits a 40 % increase in the packet processing throughput and a 60 % improvement in packet loss rate. I

running

bandwidth measurement as simple a

ON THE INTEGRATION OF PASSIVE AND ACTIVE NETWORK MONITORING IN GRID SYSTEMS

Abstract This paper focuses on the integration of passive and active network monitoring techniques in Grid systems. We propose a number of performance metrics for assessing the quality of the connectivity, and describe the required measurement methods for obtaining these metrics. Furthermore, the issue of efficiently representing and publishing the measured values is considered. We show that it is important to have both active and passive monitoring strategies applied to Grid systems; and when we do have both strategies it is necessary to have an a priory hybrid design. Finally we depict the tradeoffs introduced by this approach and the description of the components for a domain oriented monitoring infrastructure that supports both passive and active monitoring tools in Grid systems