Bidirectional compression in heterogeneous settings for distributed or federated learning with partial participation: tight convergence guarantees

We introduce a framework - Artemis - to tackle the problem of learning in a distributed or federated setting with communication constraints and device partial Several workers (randomly sampled) perform the optimization process using a central server to aggregate their computations. To alleviate the communication cost, Artemis allows to compresses the information sent in both directions (from the workers to the server and conversely) combined with a memory It improves on existing algorithms that only consider unidirectional compression (to the server), or use very strong assumptions on the compression operator, and often do not take into account devices partial participation. We provide fast rates of convergence (linear up to a threshold) under weak assumptions on the stochastic gradients (noise's variance bounded only at optimal point) in non-i.i.d. setting, highlight the impact of memory for unidirectional and bidirectional compression, analyze Polyak-Ruppert averaging. We use convergence in distribution to obtain a lower bound of the asymptotic variance that highlights practical limits of compression. And we provide experimental results to demonstrate the validity of our analysis.Comment: 56 pages, 4 theorems, 1 algorithm, code source on GitHu

Compressed and distributed least-squares regression: convergence rates with applications to Federated Learning

In this paper, we investigate the impact of compression on stochastic gradient algorithms for machine learning, a technique widely used in distributed and federated learning. We underline differences in terms of convergence rates between several unbiased compression operators, that all satisfy the same condition on their variance, thus going beyond the classical worst-case analysis. To do so, we focus on the case of least-squares regression (LSR) and analyze a general stochastic approximation algorithm for minimizing quadratic functions relying on a random field. We consider weak assumptions on the random field, tailored to the analysis (specifically, expected H\"older regularity), and on the noise covariance, enabling the analysis of various randomizing mechanisms, including compression. We then extend our results to the case of federated learning. More formally, we highlight the impact on the convergence of the covariance $\mathfrak{C}_{\mathrm{ania}}$ of the additive noise induced by the algorithm. We demonstrate despite the non-regularity of the stochastic field, that the limit variance term scales with $\mathrm{Tr}(\mathfrak{C}_{\mathrm{ania}} H^{-1})/K$ (where $H$ is the Hessian of the optimization problem and $K$ the number of iterations) generalizing the rate for the vanilla LSR case where it is $\sigma^2 \mathrm{Tr}(H H^{-1}) / K = \sigma^2 d / K$ (Bach and Moulines, 2013). Then, we analyze the dependency of $\mathfrak{C}_{\mathrm{ania}}$ on the compression strategy and ultimately its impact on convergence, first in the centralized case, then in two heterogeneous FL frameworks

Detection Possibilities of Laser Beaming Towards an Aircraft

Laserové útoky na letadla jsou poměrně časté. Ohrožují nejen bezpečnost letu, ale i zdraví pilotů. Zásadním omezením je těžká detekovatelnost útočníka. V práci bude zkoumáno, jak může směr a úhel laserového paprsku ovlivnit jeho zachytitelnost kamerovým systém. Práce tak poslouží jako vstup do projektu APALER.Laser attacks on aircraft are quite common. They not only threaten the safety of the flight, but also the health of the pilots. A major limitation is the hard detectability of the attacker. The paper will examine how the direction and angle of the laser beam can affect its capture by the camera system and the work will serve as an input to the APALER project

Social science to accelerate coastal adaptation to sea-level rise

The latest IPCC report estimates that approximately 1 billion people will be at risk from coastal hazards in the near term due to coastal population increase, sea-level rise and other coastal changes. This will occur in a world that is changing rapidly due to climate change, ecosystem decline, human development and the projected transformations of the economy to meet the objectives of the Paris Agreement. In this context, social sciences provide a pivotal perspective to coastal adaptation, for example, while assessing barriers and opportunities across scales, from local to global. This scoping review explores how social sciences support coastal adaptation. We show that Political Sciences, Economics, Sociology and Geography are already supporting coastal adaptation. Yet, scientific fields such as legal sciences, psychology, history and archaeology as well as anthropology and ethnography are less developed in the context of coastal adaptation to sea-level rise. New research avenues could also integrate education, media and communication research and aim at truly interdisciplinary studies linking different branches of social sciences with coastal science and climate services. This effort could help moving from a coastal adaptation often focused on coastal engineering protection to a broader vision of coastal resilient development, also addressing the challenges of mitigation, sustainable development and coastal ecosystem decline

Sea-level rise induced change in exposure of low-lying coastal land: implications for coastal conservation strategies

Coastal erosion and flooding are projected to increase during the 21st century due to sea-level rise (SLR). To prevent adverse impacts of unmanaged coastal development, national organizations can apply a land protection policy, which consists of acquiring coastal land to avoid further development. Yet, these reserved areas remain exposed to flooding and erosion enhanced by SLR. Here, we quantify the exposure of the coastal land heritage portfolio of the French Conservatoire du littoral (Cdl). We find that 30% (~40%) of the Cdl lands owned (projected to be owned) are located below the contemporary highest tide level. Nearly 10% additional surface exposure is projected by 2100 under the high greenhouse gas emissions scenario (SSP5-8.5) and 2150 for the moderate scenario (SSP2-4.5). The increase in exposure is largest along the West Mediterranean coast of France. We also find that Cdl land exposure increases more rapidly for SLR in the range of 0–1 m than for SLR in the range 2–4 m. Thus, near-future uncertainty on SLR has the largest impact on Cdl land exposure evolution and related land acquisition planning. Concerning erosion, we find that nearly 1% of Cdl land could be lost in 2100 if observed historical trends continue. Adding the SLR effect could lead to more than 3% land loss. Our study confirms previous findings that Cdl needs to consider land losses due to SLR in its land acquisition strategy and start acquiring land farther from the coast

Bidirectional compression for Federated Learning in a heterogeneous setting

The last two decades have witnessed an unprecedented increase in computational power, leading to a vast surge in the volume of available data. As a consequence, machine learning algorithms have evolved to adapt to this new situation. Especially, many modern applications now use a network of clients to store the data and compute the models: efficient learning in this framework is harder, especially under communication constraints. This is why, a new approach, federated learning, has been developed in recent years: the data is kept on the original server and a central server orchestrates the training. This thesis aims to address two fundamental aspects of federated learning. The first goal is to analyze the trade-offs of distributed learning with communication constraints, with the objective of reducing its energy cost and environmental footprint. The second goal is to tackle problems resulting from heterogeneity among clients. This thesis focuses on bidirectional compression and summarizes my contributions to this field of research.In our first contribution, we focus on the intertwined effect of compression and client (statistical) heterogeneity. We introduce a framework of algorithms, named Artemis, that tackles the problem of learning in a federated setting with communication constraints. In our second contribution, we move the focus toward feedback loops to reduce the impact of compression. We introduce an algorithm, coined MCM; it builds upon Artemis and introduces a new paradigm that preserves the central model from down compression. This mechanism allows to carry out bidirectional compression while asymptotically achieving the rates of convergence of unidirectional compression. In our third contribution, we go beyond the classical worst-case assumption on the variance of compressors and provide a fine-grained analysis of the impact of compression within the fundamental learning framework of least-squares regression. Within this setting, we highlight differences in convergence between several unbiased compression schemes having the same variance increase.Les deux dernières décennies ont été marquées par une augmentation sans précédent de la puissance de calcul et du volume de données disponibles. En conséquence, les algorithmes d'apprentissage automatique ont évolué pour s'adapter à cette nouvelle situation. En particulier, beaucoup d'applications modernes utilisent désormais des réseaux de clients pour stocker les données et calculer les modèles : un apprentissage efficace dans ce cadre est plus difficile, en particulier en raison des contraintes de communication. C'est pourquoi, une nouvelle approche, l'apprentissage fédéré, a été développée au cours de ces dernières années : les données sont conservées sur leur serveur d'origine et un serveur central orchestre l'entraînement. Cette thèse vise à aborder deux aspects fondamentaux de l'apprentissage fédéré. Le premier objectif est d'analyser les compromis de l'apprentissage distribué sous contraintes de communication ; le but étant de réduire le coût énergétique et l'empreinte environnementale. Le second objectif est d'aborder les problèmes résultant de l'hétérogénéité des clients qui complexifie la convergence de l'algorithme vers une solution optimale. Cette thèse se concentre sur la compression bidirectionnelle et résume mes contributions à ce domaine de recherche.Dans notre première contribution, nous nous concentrons sur l'effet entremêlé de la compression et de l'hétérogénéité (statistique) des clients. Nous introduisons un framework d'algorithmes, appelé Artemis, qui s'attaque au problème des coûts de communication de l'apprentissage fédéré. Dans notre deuxième contribution, nous mettons l'accent sur les boucles de rétroaction afin de réduire l'impact de la compression. Nous introduisons un algorithme, MCM, qui s'appuie sur Artemis et propose un nouveau paradigme qui préserve le modèle central lors de la compression descendante. Ce mécanisme permet d'effectuer une compression bidirectionnelle tout en atteignant asymptotiquement des taux de convergence identiques à ceux de la compression unidirectionnelle. Dans notre troisième contribution, nous allons au-delà de l'hypothèse classique du pire cas sur la variance et fournissons une analyse fine de l'impact de la compression dans le cadre de la régression des moindres carrés. Dans cette configuration, nous mettons en évidence les différences de convergence entre plusieurs schémas de compression sans biais ayant pourtant la même variance

Adapting to Climate Change in a Coastal Territory : the archipelago of Saint-Pierre-and-Miquelon

Le changement climatique représente un défi majeur pour les espaces littoraux du fait de l’aggravation des risques déjà existants et de l’élévation du niveau de la mer qu’il implique. Les îles sont des espaces particulièrement vulnérables et la question de l’adaptation s’y pose de façon aigue. Cette dernière se heurte cependant à de nombreux freins qui en retardent la planification et la mise en œuvre. Nous nous intéressons dans cette thèse de doctorat en géographie aux conditions de réalisation de l’adaptation sociétale et institutionnelle dans la communauté insulaire de Saint-Pierre-et-Miquelon, archipel ultramarin et subarctique (Atlantique Nord-Ouest). Nos recherches se sont appuyées sur des méthodes d’enquêtes quantitatives et qualitatives auprès de la population et des acteurs du territoire. Nous avons exploré les perceptions des risques côtiers et du changement climatique, l’acceptabilité de solutions d’adaptation, la gouvernance de l’adaptation ainsi que les stratégies déployées. Nos recherches nous permettent de tirer plusieurs constats. 1) L’acceptabilité de solutions d’adaptation dépend de facteurs géographiques, socioculturels et des croyances environnementales de l’individu. 2) La relocalisation potentielle du village de Miquelon est bien acceptée, l’attachement au lieu se révélant un levier d’action plutôt qu’un frein. 3) L’existence d’une communauté insulaire joue un rôle dans la capacité d’adaptation et peut être un frein comme un levier d’action, selon la mobilisation qui en est faite. 4) Les freins majeurs locaux à l’adaptation proviennent de l’insularité et de conséquences institutionnelles, politiques et administratives liées au statut d’Outre-mer. 5) Le rapport entre la population et les acteurs du territoire jour un rôle dans la réalisation de l’adaptation : la confiance que les habitants ont dans ces acteurs, dans leurs actions et dans les informations qu’ils transmettent va influencer l’acceptabilité et la réalisation de l’adaptation. Nous avons enfin cherché à évaluer des scénarios d’adaptation pour sept sites d’études à partir de nos résultats.Climate change represents a major challenge for coastal areas due to sea-level rise and the exacerbation of existing risks. Islands are particularly vulnerable areas, and adaptation is a major issue. However, there are many obstacles to adaptation that delay planning and implementation. In this doctoral thesis in geography, I examine the conditions for societal and institutional adaptation in the island community of Saint-Pierre-et-Miquelon, a French subarctic archipelago (Northwest Atlantic). My research was based on quantitative and qualitative survey methods with the population and stakeholders. I explored perceptions of coastal risks and climate change, the acceptability of adaptation solutions, the governance of adaptation and the strategies implemented. My research allows us to draw several conclusions. 1) The acceptability of adaptation solutions depends on geographical and socio-cultural factors and on the individual's environmental beliefs. 2) The potential relocation of the village of Miquelon is well accepted, with attachment to the place proving to be a driver for action rather than a barrier. 3) The existence of an island community plays a role in the ability to adapt and can be either a barrier a or a driver for action, depending on how it is mobilized. 4) The local main obstacles to adaptation arise from insularity and the institutional, political, and administrative consequences of being an overseas territory. 5) The relationship between the population and the stakeholders plays a role in the implementation of adaptation: the confidence that the inhabitants have in these actors, in their actions and in the information they transmit, will influence the acceptability and implementation of adaptation. Finally, I sought to evaluate adaptation scenarios for seven study sites based on our results

CR - Colloques Îles 2019

Ces « bouts de terre », ces « cailloux entourés d’eau », voilà des expressions qui reviennent souvent lorsqu’on parle des îles. Mais au fait, qui parle des îles ? Et à quel sujet ? C’était justement le thème d’un colloque dédié aux Îles du 14 au 18 octobre 2019 à Brest. L’objectif, illustré par le sous-titre « Les îles à la croisée des sciences, des cultures et des sociétés », était de rassembler des scientifiques de disciplines différentes, de présenter des îles variées aux quatre coin..

L'adaptation au changement climatique dans un territoire côtier : l'archipel de Saint-Pierre-et-Miquelon

Climate change represents a major challenge for coastal areas due to sea-level rise and the exacerbation of existing risks. Islands are particularly vulnerable areas, and adaptation is a major issue. However, there are many obstacles to adaptation that delay planning and implementation. In this doctoral thesis in geography, I examine the conditions for societal and institutional adaptation in the island community of Saint-Pierre-et-Miquelon, a French subarctic archipelago (Northwest Atlantic). My research was based on quantitative and qualitative survey methods with the population and stakeholders. I explored perceptions of coastal risks and climate change, the acceptability of adaptation solutions, the governance of adaptation and the strategies implemented. My research allows us to draw several conclusions. 1) The acceptability of adaptation solutions depends on geographical and socio-cultural factors and on the individual's environmental beliefs. 2) The potential relocation of the village of Miquelon is well accepted, with attachment to the place proving to be a driver for action rather than a barrier. 3) The existence of an island community plays a role in the ability to adapt and can be either a barrier a or a driver for action, depending on how it is mobilized. 4) The local main obstacles to adaptation arise from insularity and the institutional, political, and administrative consequences of being an overseas territory. 5) The relationship between the population and the stakeholders plays a role in the implementation of adaptation: the confidence that the inhabitants have in these actors, in their actions and in the information they transmit, will influence the acceptability and implementation of adaptation. Finally, I sought to evaluate adaptation scenarios for seven study sites based on our results.Le changement climatique représente un défi majeur pour les espaces littoraux du fait de l’aggravation des risques déjà existants et de l’élévation du niveau de la mer qu’il implique. Les îles sont des espaces particulièrement vulnérables et la question de l’adaptation s’y pose de façon aigue. Cette dernière se heurte cependant à de nombreux freins qui en retardent la planification et la mise en œuvre. Nous nous intéressons dans cette thèse de doctorat en géographie aux conditions de réalisation de l’adaptation sociétale et institutionnelle dans la communauté insulaire de Saint-Pierre-et-Miquelon, archipel ultramarin et subarctique (Atlantique Nord-Ouest). Nos recherches se sont appuyées sur des méthodes d’enquêtes quantitatives et qualitatives auprès de la population et des acteurs du territoire. Nous avons exploré les perceptions des risques côtiers et du changement climatique, l’acceptabilité de solutions d’adaptation, la gouvernance de l’adaptation ainsi que les stratégies déployées. Nos recherches nous permettent de tirer plusieurs constats. 1) L’acceptabilité de solutions d’adaptation dépend de facteurs géographiques, socioculturels et des croyances environnementales de l’individu. 2) La relocalisation potentielle du village de Miquelon est bien acceptée, l’attachement au lieu se révélant un levier d’action plutôt qu’un frein. 3) L’existence d’une communauté insulaire joue un rôle dans la capacité d’adaptation et peut être un frein comme un levier d’action, selon la mobilisation qui en est faite. 4) Les freins majeurs locaux à l’adaptation proviennent de l’insularité et de conséquences institutionnelles, politiques et administratives liées au statut d’Outre-mer. 5) Le rapport entre la population et les acteurs du territoire jour un rôle dans la réalisation de l’adaptation : la confiance que les habitants ont dans ces acteurs, dans leurs actions et dans les informations qu’ils transmettent va influencer l’acceptabilité et la réalisation de l’adaptation. Nous avons enfin cherché à évaluer des scénarios d’adaptation pour sept sites d’études à partir de nos résultats

Bidirectional compression for Federated Learning in a heterogeneous setting

The last two decades have witnessed an unprecedented increase in computational power, leading to a vast surge in the volume of available data. As a consequence, machine learning algorithms have evolved to adapt to this new situation. Especially, many modern applications now use a network of clients to store the data and compute the models: efficient learning in this framework is harder, especially under communication constraints. This is why, a new approach, federated learning, has been developed in recent years: the data is kept on the original server and a central server orchestrates the training. This thesis aims to address two fundamental aspects of federated learning. The first goal is to analyze the trade-offs of distributed learning with communication constraints, with the objective of reducing its energy cost and environmental footprint. The second goal is to tackle problems resulting from heterogeneity among clients. This thesis focuses on bidirectional compression and summarizes my contributions to this field of research.In our first contribution, we focus on the intertwined effect of compression and client (statistical) heterogeneity. We introduce a framework of algorithms, named Artemis, that tackles the problem of learning in a federated setting with communication constraints. In our second contribution, we move the focus toward feedback loops to reduce the impact of compression. We introduce an algorithm, coined MCM; it builds upon Artemis and introduces a new paradigm that preserves the central model from down compression. This mechanism allows to carry out bidirectional compression while asymptotically achieving the rates of convergence of unidirectional compression. In our third contribution, we go beyond the classical worst-case assumption on the variance of compressors and provide a fine-grained analysis of the impact of compression within the fundamental learning framework of least-squares regression. Within this setting, we highlight differences in convergence between several unbiased compression schemes having the same variance increase.Les deux dernières décennies ont été marquées par une augmentation sans précédent de la puissance de calcul et du volume de données disponibles. En conséquence, les algorithmes d'apprentissage automatique ont évolué pour s'adapter à cette nouvelle situation. En particulier, beaucoup d'applications modernes utilisent désormais des réseaux de clients pour stocker les données et calculer les modèles : un apprentissage efficace dans ce cadre est plus difficile, en particulier en raison des contraintes de communication. C'est pourquoi, une nouvelle approche, l'apprentissage fédéré, a été développée au cours de ces dernières années : les données sont conservées sur leur serveur d'origine et un serveur central orchestre l'entraînement. Cette thèse vise à aborder deux aspects fondamentaux de l'apprentissage fédéré. Le premier objectif est d'analyser les compromis de l'apprentissage distribué sous contraintes de communication ; le but étant de réduire le coût énergétique et l'empreinte environnementale. Le second objectif est d'aborder les problèmes résultant de l'hétérogénéité des clients qui complexifie la convergence de l'algorithme vers une solution optimale. Cette thèse se concentre sur la compression bidirectionnelle et résume mes contributions à ce domaine de recherche.Dans notre première contribution, nous nous concentrons sur l'effet entremêlé de la compression et de l'hétérogénéité (statistique) des clients. Nous introduisons un framework d'algorithmes, appelé Artemis, qui s'attaque au problème des coûts de communication de l'apprentissage fédéré. Dans notre deuxième contribution, nous mettons l'accent sur les boucles de rétroaction afin de réduire l'impact de la compression. Nous introduisons un algorithme, MCM, qui s'appuie sur Artemis et propose un nouveau paradigme qui préserve le modèle central lors de la compression descendante. Ce mécanisme permet d'effectuer une compression bidirectionnelle tout en atteignant asymptotiquement des taux de convergence identiques à ceux de la compression unidirectionnelle. Dans notre troisième contribution, nous allons au-delà de l'hypothèse classique du pire cas sur la variance et fournissons une analyse fine de l'impact de la compression dans le cadre de la régression des moindres carrés. Dans cette configuration, nous mettons en évidence les différences de convergence entre plusieurs schémas de compression sans biais ayant pourtant la même variance