Reinforcement Learning based Gateway Selection in VANETs

In vehicular ad hoc networks (VANETs), providing the Internet has become an urgent necessity, where mobile gateways are used to ensure network connection to all customer vehicles in the network. However, the highly dynamic topology and bandwidth limitations of the network represent a significant issue in the gateway selection process. Two objectives are defined to overcome these challenges. The first objective aims to maximize the number of vehicles connected to the Internet by finding a suitable gateway for them depending on the connection lifetime. The second objective seeks to minimize the number of connected vehicles to the same gateway to overcome the limitation of gateways\u27 bandwidth and distribute the load in the network. For this purpose, A gateway discovery system assisted by the vehicular cloud is implemented to find a fair trade-off between the two conflicting objectives. Proximal Policy Optimization, a well-known reinforcement learning strategy, is used to define and train the agent. The trained agent was evaluated and compared with other multi-objective optimization methods under different conditions. The obtained results show that the proposed algorithm has better performance in terms of the number of connected vehicles, load distribution over the mobile gateways, link connectivity duration, and execution time

Reliable Message Dissemination in Mobile Vehicular Networks

Les réseaux véhiculaires accueillent une multitude d’applications d’info-divertissement et de sécurité. Les applications de sécurité visent à améliorer la sécurité sur les routes (éviter les accidents), tandis que les applications d’info-divertissement visent à améliorer l'expérience des passagers. Les applications de sécurité ont des exigences rigides en termes de délais et de fiabilité ; en effet, la diffusion des messages d’urgence (envoyés par un véhicule/émetteur) devrait être fiable et rapide. Notons que, pour diffuser des informations sur une zone de taille plus grande que celle couverte par la portée de transmission d’un émetteur, il est nécessaire d’utiliser un mécanisme de transmission multi-sauts. De nombreuses approches ont été proposées pour assurer la fiabilité et le délai des dites applications. Toutefois, ces méthodes présentent plusieurs lacunes. Cette thèse, nous proposons trois contributions. La première contribution aborde la question de la diffusion fiable des messages d’urgence. A cet égard, un nouveau schéma, appelé REMD, a été proposé. Ce schéma utilise la répétition de message pour offrir une fiabilité garantie, à chaque saut, tout en assurant un court délai. REMD calcule un nombre optimal de répétitions en se basant sur l’estimation de la qualité de réception de lien dans plusieurs locations (appelées cellules) à l’intérieur de la zone couverte par la portée de transmission de l’émetteur. REMD suppose que les qualités de réception de lien des cellules adjacentes sont indépendantes. Il sélectionne, également, un nombre de véhicules, appelés relais, qui coopèrent dans le contexte de la répétition du message d’urgence pour assurer la fiabilité en multi-sauts. La deuxième contribution, appelée BCRB, vise à améliorer REMD ; elle suppose que les qualités de réception de lien des cellules adjacentes sont dépendantes ce qui est, généralement, plus réaliste. BCRB utilise les réseaux Bayésiens pour modéliser les dépendances en vue d’estimer la qualité du lien de réception avec une meilleure précision. La troisième contribution, appelée RICS, offre un accès fiable à Internet. RICS propose un modèle d’optimisation, avec une résolution exacte optimale à l'aide d’une technique de réduction de la dimension spatiale, pour le déploiement des passerelles. Chaque passerelle utilise BCRB pour établir une communication fiable avec les véhicules.Vehicular networks aim to enable a plethora of safety and infotainment applications. Safety applications aim to preserve people's lives (e.g., by helping in avoiding crashes) while infotainment applications focus on enhancing the passengers’ experience. These applications, especially safety applications, have stringent requirements in terms of reliability and delay; indeed, dissemination of an emergency message (e.g., by a vehicle/sender involved in a crash) should be reliable while satisfying short delay requirements. Note, that multi-hop dissemination is needed to reach all vehicles, in the target area, that may be outside the transmission range of the sender. Several schemes have been proposed to provide reliability and short delay for vehicular applications. However, these schemes have several limitations. Thus, the design of new solutions, to meet the requirement of vehicular applications in terms of reliability while keeping low end-to-end delay, is required. In this thesis, we propose three schemes. The first scheme is a multi-hop reliable emergency message dissemination scheme, called REMD, which guarantees a predefined reliability , using message repetitions/retransmissions, while satisfying short delay requirements. It computes an optimal number of repetitions based on the estimation of link reception quality at different locations (called cells) in the transmission range of the sender; REMD assumes that link reception qualities of adjacent cells are independent. It also adequately selects a number of vehicles, called forwarders, that cooperate in repeating the emergency message with the objective to satisfy multi-hop reliability requirements. The second scheme, called BCRB, overcomes the shortcoming of REMD by assuming that link reception qualities of adjacent cells are dependent which is more realistic in real-life scenarios. BCRB makes use of Bayesian networks to model these dependencies; this allows for more accurate estimation of link reception qualities leading to better performance of BCRB. The third scheme, called RICS, provides internet access to vehicles by establishing multi-hop reliable paths to gateways. In RICS, the gateway placement is modeled as a k-center optimisation problem. A space dimension reduction technique is used to solve the problem in exact time. Each gateway makes use of BCRB to establish reliable communication paths to vehicles

Quality of service aware data dissemination in vehicular Ad Hoc networks

Des systèmes de transport intelligents (STI) seront éventuellement fournis dans un proche avenir pour la sécurité et le confort des personnes lors de leurs déplacements sur les routes. Les réseaux ad-hoc véhiculaires (VANETs) représentent l'élément clé des STI. Les VANETs sont formés par des véhicules qui communiquent entre eux et avec l'infrastructure. En effet, les véhicules pourront échanger des messages qui comprennent, par exemple, des informations sur la circulation routière, les situations d'urgence et les divertissements. En particulier, les messages d'urgence sont diffusés par des véhicules en cas d'urgence (p.ex. un accident de voiture); afin de permettre aux conducteurs de réagir à temps (p.ex., ralentir), les messages d'urgence doivent être diffusés de manière fiable dans un délai très court. Dans les VANETs, il existe plusieurs facteurs, tels que le canal à pertes, les terminaux cachés, les interférences et la bande passante limitée, qui compliquent énormément la satisfaction des exigences de fiabilité et de délai des messages d'urgence. Dans cette thèse, en guise de première contribution, nous proposons un schéma de diffusion efficace à plusieurs sauts, appelé Dynamic Partitioning Scheme (DPS), pour diffuser les messages d'urgence. DPS calcule les tailles de partitions dynamiques et le calendrier de transmission pour chaque partition; à l'intérieur de la zone arrière de l'expéditeur, les partitions sont calculées de sorte qu'en moyenne chaque partition contient au moins un seul véhicule; l'objectif est de s'assurer que seul un véhicule dans la partition la plus éloignée (de l'expéditeur) est utilisé pour diffuser le message, jusqu'au saut suivant; ceci donne lieu à un délai d'un saut plus court. DPS assure une diffusion rapide des messages d'urgence. En outre, un nouveau mécanisme d'établissement de liaison, qui utilise des tonalités occupées, est proposé pour résoudre le problème du problème de terminal caché. Dans les VANETs, la Multidiffusion, c'est-à-dire la transmission d'un message d'une source à un nombre limité de véhicules connus en tant que destinations, est très importante. Par rapport à la diffusion unique, avec Multidiffusion, la source peut simultanément prendre en charge plusieurs destinations, via une arborescence de multidiffusion, ce qui permet d'économiser de la bande passante et de réduire la congestion du réseau. Cependant, puisque les VANETs ont une topologie dynamique, le maintien de la connectivité de l'arbre de multidiffusion est un problème majeur. Comme deuxième contribution, nous proposons deux approches pour modéliser l'utilisation totale de bande passante d'une arborescence de multidiffusion: (i) la première approche considère le nombre de segments de route impliqués dans l'arbre de multidiffusion et (ii) la seconde approche considère le nombre d'intersections relais dans l'arbre de multidiffusion. Une heuristique est proposée pour chaque approche. Pour assurer la qualité de service de l'arbre de multidiffusion, des procédures efficaces sont proposées pour le suivi des destinations et la surveillance de la qualité de service des segments de route. Comme troisième contribution, nous étudions le problème de la congestion causée par le routage du trafic de données dans les VANETs. Nous proposons (1) une approche de routage basée sur l’infonuagique qui, contrairement aux approches existantes, prend en compte les chemins de routage existants qui relaient déjà les données dans les VANETs. Les nouvelles demandes de routage sont traitées de sorte qu'aucun segment de route ne soit surchargé par plusieurs chemins de routage croisés. Au lieu d'acheminer les données en utilisant des chemins de routage sur un nombre limité de segments de route, notre approche équilibre la charge des données en utilisant des chemins de routage sur l'ensemble des tronçons routiers urbains, dans le but d'empêcher, dans la mesure du possible, les congestions locales dans les VANETs; et (2) une approche basée sur le réseau défini par logiciel (SDN) pour surveiller la connectivité VANET en temps réel et les délais de transmission sur chaque segment de route. Les données de surveillance sont utilisées en entrée de l'approche de routage.Intelligent Transportation Systems (ITS) will be eventually provided in the near future for both safety and comfort of people during their travel on the roads. Vehicular ad-hoc Networks (VANETs), represent the key component of ITS. VANETs consist of vehicles that communicate with each other and with the infrastructure. Indeed, vehicles will be able to exchange messages that include, for example, information about road traffic, emergency situations, and entertainment. Particularly, emergency messages are broadcasted by vehicles in case of an emergency (e.g., car accident); in order to allow drivers to react in time (e.g., slow down), emergency messages must be reliably disseminated with very short delay. In VANETs, there are several factors, such as lossy channel, hidden terminals, interferences and scarce bandwidth, which make satisfying reliability and delay requirements of emergency messages very challenging. In this thesis, as the first contribution, we propose a reliable time-efficient and multi-hop broadcasting scheme, called Dynamic Partitioning Scheme (DPS), to disseminate emergency messages. DPS computes dynamic partition sizes and the transmission schedule for each partition; inside the back area of the sender, the partitions are computed such that in average each partition contains at least a single vehicle; the objective is to ensure that only a vehicle in the farthest partition (from the sender) is used to disseminate the message, to next hop, resulting in shorter one hop delay. DPS ensures fast dissemination of emergency messages. Moreover, a new handshaking mechanism, that uses busy tones, is proposed to solve the problem of hidden terminal problem. In VANETs, Multicasting, i.e. delivering a message from a source to a limited known number of vehicles as destinations, is very important. Compared to Unicasting, with Multicasting, the source can simultaneously support multiple destinations, via a multicast tree, saving bandwidth and reducing overall communication congestion. However, since VANETs have a dynamic topology, maintaining the connectivity of the multicast tree is a major issue. As the second contribution, we propose two approaches to model total bandwidth usage of a multicast tree: (i) the first approach considers the number of road segments involved in the multicast tree and (ii) the second approach considers the number of relaying intersections involved in the multicast tree. A heuristic is proposed for each approach. To ensure QoS of the multicasting tree, efficient procedures are proposed for tracking destinations and monitoring QoS of road segments. As the third contribution, we study the problem of network congestion in routing data traffic in VANETs. We propose (1) a Cloud-based routing approach that, in opposition to existing approaches, takes into account existing routing paths which are already relaying data in VANETs. New routing requests are processed such that no road segment gets overloaded by multiple crossing routing paths. Instead of routing over a limited set of road segments, our approach balances the load of communication paths over the whole urban road segments, with the objective to prevent, whenever possible, local congestions in VANETs; and (2) a Software Defined Networking (SDN) based approach to monitor real-time VANETs connectivity and transmission delays on each road segment. The monitoring data is used as input to the routing approach

Contribution to the design of VANET routing protocols for realistic urban environments

One of the main concerns of the cities' administration is mobility management. In Intelligent Transportation Systems (ITS), pedestrians, vehicles and public transportation systems could share information and react to any situation in the city. The information sensed by vehicles could be useful for other vehicles and for the mobility authorities. Vehicular Ad hoc Networks (VANETs) make possible the communication between vehicles (V2I) and also between vehicles and fixed infrastructure (V2I) managed by the city's authorities. In addition, VANET routing protocols minimize the use of fixed infrastructure since they employ multi-hop V2V communication to reach reporting access points of the city. This thesis aims to contribute in the design of VANET routing protocols to enable reporting services (e.g., vehicular traffic notifications) in urban environments. The first step to achieve this global objective has been the study of components and tools to mimic a realistic VANET scenario. Moreover, we have analyzed the impact of the realism of each one of those components in the simulation results. Then, we have improved the Address Resolution procedure in VANETs by including it in the routing signaling messages. Our approach simplifies the VANET operation and increases the packet delivery ratio as consequence. Afterwards, we have tackled the issue of having duplicate packets in unicast communications and we have proposed routing filters to lower their presence. This way we have been able to increase the available bandwidth and reduce the average packet delay with a slight increase of the packet losses. Besides, we have proposed a Multi-Metric Map aware routing protocol (MMMR) that incorporates four routing metrics (distance, trajectory, vehicle density and available bandwidth) to take the forwarding decisions. With the aim of increasing the number of delivered packets in MMMR, we have developed a Geographical Heuristic Routing (GHR) algorithm. GHR integrates Tabu and Simulated Annealing heuristic optimization techniques to adapt its behavior to the specific scenario characteristics. GHR is generic because it could use any geographical routing protocol to take the forwarding decisions. Additionally, we have designed an easy to implement forwarding strategy based on an extended topology information area of two hops, called 2-hops Geographical Anycast Routing (2hGAR) protocol. Results show that controlled randomness introduced by GHR improves the default operation of MMMR. On the other hand, 2hGAR presents lower delays than GHR and higher packet delivery ratio, especially in high density scenarios. Finally, we have proposed two mixed (integer and linear) optimization models to detect the best positions in the city to locate the Road Side Units (RSUs) which are in charge of gathering all the reporting information generated by vehicles.Una de las principales preocupaciones en la administración de las ciudades es la gestión de la movilidad de sus vehículos, debido a los problemas de tráfico como atascos y accidentes. En los sistemas inteligentes de transporte (SIT), peatones, vehículos y transporte público podrán compartir información y adaptarse a cualquier situación que suceda en la ciudad. La información obtenida por los sensores de los vehículos puede ser útil para otros vehículos y para las autoridades de movilidad. Las redes ad hoc vehiculares (VANETs) hacen posible la comunicación entre los propios vehículos (V2V) y entre vehículos y la infraestructura fija de la red de la ciudad (V2I). Asimismo, los protocolos de encaminamiento para redes vehiculares minimizan el uso de infraestructura fija de red, ya que los protocolos de encaminamiento VANET emplean comunicaciones multisalto entre vehículos para encaminar los mensajes hasta los puntos de acceso de la red en la ciudad. El objetivo de esta tesis doctoral es contribuir en el diseño de protocolos de encaminamiento en redes ad hoc vehiculares para servicios de notificaciones (p.ej. reportes del estado del tráfico) en entornos urbanos. El primer paso para alcanzar este objetivo general ha sido el estudio de componentes y herramientas para simular un escenario realista de red ad hoc vehicular. Además, se ha analizado el impacto del nivel de realismo de cada uno de los componentes de simulación en los resultados obtenidos. Así también, se ha propuesto un mecanismo de resolución de direcciones automático y coherente para redes VANET a través del uso de los propios mensajes de señalización de los protocolos de encaminamiento. Esta mejora simplifica la operación de una red ad hoc vehicular y como consecuencia aumenta la tasa de recepción de paquetes. A continuación, se ha abordado el problema de la aparición inesperada de paquetes de datos duplicados en una comunicación punto a punto. Para ello, se ha propuesto el filtrado de paquetes duplicados a nivel del protocolo de encaminamiento. Esto ha producido un incremento del ancho disponible en el canal y una reducción del retardo medio en la trasmisión de un paquete, a costa de un mínimo aumento de la pérdida de paquetes. Por otra parte, hemos propuesto un protocolo de encaminamiento multi-métrica MMMR (Multi-Metric Map-aware Routing protocol), el cual incorpora cuatro métricas (distancia al destino, trayectoria, densidad de vehículos y ancho de banda) en las decisiones de encaminamiento. Con el objetivo de aumentar la tasa de entrega de paquetes en MMMR, hemos desarrollado un algoritmo heurístico de encaminamiento geográfico denominado GHR (Geographical Heuristic Routing). Esta propuesta integra las técnicas de optimización Tabu y Simulated Annealing, que permiten a GHR adaptarse a las características específicas del escenario. Adicionalmente, hemos propuesto 2hGAR (2-hops Geographical Anycast Routing), un protocolo de encaminamiento anycast que emplea información de la topología de red a dos saltos de distancia para tomar la decisión de encaminamiento de los mensajes. Los resultados muestran que la aleatoriedad controlada de GHR en su operación mejora el rendimiento de MMMR. Asimismo, 2hGAR presenta retardos de paquete menores a los obtenidos por GHR y una mayor tasa de paquetes entregados, especialmente en escenarios con alta densidad de vehículos. Finalmente, se han propuesto dos modelos de optimización mixtos (enteros y lineales) para detectar los mejores lugares de la ciudad donde ubicar los puntos de acceso de la red, los cuales se encargan de recolectar los reportes generados por los vehículos.Postprint (published version

Implementation and evaluation of a simulation system based on particle swarm optimisation for node placement problem in wireless mesh networks

With the fast development of wireless technologies, wireless mesh networks (WMNs) are becoming an important networking infrastructure due to their low cost and increased high speed wireless internet connectivity. This paper implements a simulation system based on particle swarm optimisation (PSO) in order to solve the problem of mesh router placement in WMNs. Four replacement methods of mesh routers are considered: constriction method (CM), random inertia weight method (RIWM), linearly decreasing Vmax method (LDVM) and linearly decreasing inertia weight method (LDIWM). Simulation results are provided, showing that the CM converges very fast, but has the worst performance among the methods. The considered performance metrics are the size of giant component (SGC) and the number of covered mesh clients (NCMC). The RIWM converges fast and the performance is good. The LDIWM is a combination of RIWM and LDVM. The LDVM converges after 170 number of phases but has a good performance.Peer ReviewedPostprint (author's final draft