Pathway: a fast and flexible unified stream data processing framework for analytical and Machine Learning applications

We present Pathway, a new unified data processing framework that can run workloads on both bounded and unbounded data streams. The framework was created with the original motivation of resolving challenges faced when analyzing and processing data from the physical economy, including streams of data generated by IoT and enterprise systems. These required rapid reaction while calling for the application of advanced computation paradigms (machinelearning-powered analytics, contextual analysis, and other elements of complex event processing). Pathway is equipped with a Table API tailored for Python and Python/SQL workflows, and is powered by a distributed incremental dataflow in Rust. We describe the system and present benchmarking results which demonstrate its capabilities in both batch and streaming contexts, where it is able to surpass state-of-the-art industry frameworks in both scenarios. We also discuss streaming use cases handled by Pathway which cannot be easily resolved with state-of-the-art industry frameworks, such as streaming iterative graph algorithms (PageRank, etc.)

Evolution and robustness of the maritime trade network : a complex systems approach

Plus de 70% de la valeur totale du commerce international est acheminée par voie maritime, ce qui représente 80% de la totalité du fret en volume. En 2016, le secrétaire général de l’ONU a attiré l’attention sur le rôle du transport maritime, qu’il décrit comme « l’épine dorsale du commerce mondial et de l’économie mondiale”. Les flux du commerce maritime ont un impact non seulement sur le développement économique des régions concernées, mais également sur leurs écosystèmes. Les navires en mouvement étant notamment un important vecteur de propagation pour les bioinvasions. En parallèle, l’avenir du secteur du transport maritime est inextricablement lié au changement climatique : les mouvements de navires contribuent de manière significative aux émissions mondiales de CO2, de NOx et de SOx, avec des émissions de CO2 comparables à celles de l’Allemagne et des émissions de NOx et de SOx comparables à celles des États-Unis. Le développement de la navigation dans l’Arctique devenant une réalité, la nécessité de comprendre le comportement de ce système et de prévoir les futurs flux du commerce maritime s’impose. Malgré l’importance évidente et cruciale de la logistique maritime pour l’économie mondiale, très peu de travaux fournissent une vue détaillée de la répartition mondiale des flux commerciaux maritimes, et encore moins n’analysent leur évolution sur le long terme et les règles qui les régissent. Dans cette thèse, nous utilisons une base de données unique sur les mouvements quotidiens de la flotte mondiale entre 1977 et 2008, fournie par l’assureur maritime Lloyd’s, afin de constituer un réseau complexe des flux du commerce maritime où les ports représentent les nœuds et les liens sont créés par les traversées de navires. Dans cette thèse, nous effectuons une analyse du réseau du commerce maritime qui est entièrement data-driven. Nous utilisons des outils issus de la science de la complexité et de Machine Learning appliqués aux données de réseau pour étudier les propriétés de ce réseau et développer des modèles de prévision des ouvertures de nouvelles lignes maritimes et des volumes des flux commerciaux futurs sur des liens. L’application du Machine Learning pour analyser les flux commerciaux sur le réseau nous paraît être une nouvelle approche par rapport à l’état de l’art. Cette approche nécessitait une sélection et une modification soigneuses des outils d’apprentissage automatique existants pour les adapter aux données de type réseau et sur des flux physiques. Les résultats de la thèse suggèrent que le commerce maritime suit une marche aléatoire sur la structure sous-jacente du réseau. [...] Grâce à une expérience naturelle impliquant une redirection du trafic du port de Kobe après le tremblement de terre de 1995, nous constatons que le trafic a été redirigé de préférence vers les ports qui avaient le plus grand nombre de voisins communs avec Kobe avant la catastrophe naturelle. Ensuite, en simulant des attaques ciblées sur le réseau du commerce maritime, nous analysons les meilleurs critères qui permettraient de maximiser les dommages causés au réseau, ainsi que la robustesse générale du réseau face aux différents types d’attaques. Tous ces résultats suggèrent que les flux commerciaux maritimes suivent une forme de marche aléatoire sur le réseau des connexions maritimes, ce qui fournit la preuve d’une vision nouvelle de la nature des flux commerciaux.Over 70% of the total value of international trade is carried by sea, accounting for 80% of all cargo in terms of volume. In 2016, the UN Secretary General drew attention to the role of maritime transport, describing it as “the backbone of global trade and of the global economy”. Maritime trade flows impact not only the economic development of the concerned regions, but also their ecosystems. Moving ships are an important vector of spread for bioinvasions. Shipping routes are constantly evolving and likely to be affected by the consequences of Climate Change, while at the same time ships are a considerable source of air pollution, with CO2 emissions at a level comparable to Germany, and NOx and SOx emissions comparable to the United States. With the development of Arctic shipping becoming a reality, the need to understand the behavior of this system and to forecast future maritime trade flows reasserts itself. Despite their scope and crucial importance, studies of maritime trade flows on a global scale, based on data and formal methods are scarce, and even fewer studies address the question of their evolution. In this thesis we use a unique database on daily movements of the world fleet between 1977 and 2008 provided by the maritime insurer Lloyd’s in order to build a complex network of maritime trade flows where ports stand for nodes and links are created by ship voyages. In this thesis we perform a data-driven analysis of the maritime trade network. We use tools from Complexity Science and Machine Learning applied on network data to study the network’s properties and develop models for predicting the opening of new shipping lines and for forecasting future trade volume on links. Applying Machine Learning to analyse networked trade flows appears to be a new approach with respect to the state-of-the-art, and required careful selection and customization of existing Machine Learning tools to make them fit networked data on physical flows. The results of the thesis suggest a hypothesis of trade following a random walk on the underlying network structure. [...] Thanks to a natural experiment, involving traffic redirection from the port of Kobe after the 1995 earthquake, we find that the traffic was redirected preferentially to ports which had the highest number of Common Neighbors with Kobe before the cataclysm. Then, by simulating targeted attacks on the maritime trade network, we analyze the best criteria which may serve to maximize the harm done to the network and analyse the overall robustness of the network to different types of attacks. All these results hint that maritime trade flows follow a form of random walk on the network of sea connections, which provides evidence for a novel view on the nature of trade flows

Evolving structure of the maritime trade network: Evidence from the Lloyd's Shipping Index (1890-2000)

Over 90 % of the world trade volumes is being carried by sea nowadays. This figure shows the massive importance of the maritime trade routes for the world economy. However, the evolution of their structure over time is a white spot in the modern literature. In this paper we characterise and study topological changes of the maritime trade network and how they translate into navigability properties of this network. In order to do so we use tools from Graph Theory and Computer Science to describe the maritime trade network at different points in time between 1890 and 2000, based on the data on daily movements of ships. We also propose two new measures of network navigability based on a random walk procedure: random walk discovery and escape difficulty. By studying the maritime network evolution we find that it optimizes over time, increasing its navigability while doubling the number of active ports. Our findings suggest that unlike in other real world evolving networks studied in the literature up to date, the maritime network does not densify over time and its effective diameter remains constant