[SPA] Esta tesis doctoral se presenta bajo la modalidad de compendio de publicaciones. En los últimos años la creciente demanda de la industria del transporte junto con requisitos de seguridad cada vez más estrictos han promovido el rápido desarrollo de las comunicaciones vehiculares. Tales comunicaciones se basan en el intercambio de mensajes periódicos (beacons) que contienen información crítica de los vehículos. Esta difusión de información da origen a lo que comúnmente se denomina conciencia cooperativa, que permite ampliar las capacidades de numerosos sistemas de asistencia en carretera y las diferentes aplicaciones de seguridad. Ciertamente, la difusión de información entre vehículos es la base de la conducción autónoma y reduce drásticamente el riesgo de colisión y otros eventos indeseados. Sin embargo, es importante tener en cuenta que la carga agregada de los beacons transmitidos puede congestionar rápidamente el canal, comprometiendo la recepción de paquetes y, por lo tanto, poniendo en peligro las ventajas que ofrecen tales comunicaciones. Para garantizar la disponibilidad del canal tanto para la recepción correcta de mensajes de emergencia y de las mínimas balizas necesarias para satisfacer los requisitos de las aplicaciones de seguridad, una determinada fracción del canal debe de ser reservada. En la literatura relacionada, el control de la congestión se ha abordado mediante el ajuste de varios parámetros de transmisión (tasa de mensaje, potencia y tasa de bit), pero todavía existen numerosos desafíos por abordar. Por ejemplo, aunque los parámetros de transmisión suelen ajustarse individualmente debido a la simplicidad del problema de optimización, aquí se muestran las ventajas de ajustar varios parámetros de forma simultánea. En esta tesis, se propone el uso de diferentes algoritmos distribuidos que alcancen el nivel de congestión deseado sin requerir infraestructura ninguna en carretera. La primera parte de esta tesis aborda la asignación de la tasa de balizamiento mediante la maximización de la utilidad de red (NUM) y diferentes métricas de riesgo como el tiempo de colisión y la velocidad de la carretera de aviso. En la segunda parte, no solo se estudian diferentes combinaciones consistentes de parámetros, sino que también nos sumergimos en el paradigma de los algoritmos no cooperativos, en los que no se requiere información de los vehículos vecinos. El problema de control de la congestión es formulado como un Proceso de Decisión de Markov (MDP) y resuelto mediante técnicas de inteligencia artificial, más concretamente, mediante aprendizaje por refuerzo (RL). Se proponen diferentes soluciones que van desde simples métodos tabulares, adecuados para entornos discretos, como Q-learning, hasta funciones de aproximación más complejas adecuadas para espacios continuos, como SARSA basado en semi-gradiente o redes neuronales artificiales.[ENG] This doctoral dissertation has been presented in the form of thesis by publication. The ever-increasing growth of the transportation industry demands combined with new safety requirements has triggered the development of vehicular communications. These communications among vehicles are based on the exchange of periodical messages or beacons containing valuable information about vehicle state. This gives rise to the socalled cooperative awareness, which allows extending the capabilities of numerous driver assistance systems and safety applications. Disseminating information among vehicles certainly lessens the risk of collision and other undesired events. Nevertheless, the aggregated beaconing load can rapidly jam the channel, compromising packet reception, and therefore endangering the advantages offered by such communications. To guarantee the availability of the channel for emergency messages and the minimum beacons receptions that satisfy safety application requirements, a given fraction of the channel capacity should be available. This congestion control has been addressed by adjusting several transmission parameters but some challenges are still unresolved. Although these parameters are usually optimized individually because of the convexity of the optimization problem, we show the advantages of combining them. In this thesis, we propose the use of different distributed algorithms that reach the desired congestion level without explicitly requiring any costly infrastructure. The first part of this thesis addresses beaconing rate allocation. We propose several distributed solutions based on Network Utility Maximization (NUM) and different risk metrics such as time-to-collision and advisory road speed. In the second part, we not only study different combinations of well-coupled parameters but also dive into the paradigm of noncooperative algorithms, in which no information from neighboring vehicles or centralized infrastructure are required. We formulate the congestion control problem as a Markov Decision Process and solve it by means of different reinforcement learning techniques. In particular, we propose different solutions ranging from tabular methods suitable for simple and discrete environments, like Q-learning, to more complex functions approximations for continuous action-state spaces, such as Semi-gradient SARSA or artificial neural networks.Esta tesis doctoral se presenta bajo la modalidad de compendio de publicaciones. Está formada por estos seis artículos: 1. (j1) Aznar-Poveda, J., Egea-Lopez, E., Garcia-Sanchez, A. J., and Pavon-Mariño, P. (2019, October). Time-to-Collision-Based Awareness and Congestion Control for Vehicular Communications. IEEE Access, 7, 154192-154208. DOI: 10.1109/ACCESS.2019.2949131. 2. (c1) Aznar-Poveda, J., Egea-Lopez, E., and Garcia-Sanchez, A. J. (2020, May). Cooperative Awareness Message Dissemination in EN 302 637-2: An Adaptation for Winding Roads. IEEE 91st Vehicular Technology Conference (VTC2020-Spring) (pp. 1-5). IEEE. DOI: 10.1109/VTC2020-Spring48590.2020.9128815. 3. (c2) Aznar-Poveda, J., Egea-Lopez, E., Garcia-Sanchez, A. J., and Garcia-Haro, J. (2020, July). Advisory Speed Estimation for an Improved V2X Communications Awareness in Winding Roads. In 2020 22nd International Conference on Transparent Optical Networks (ICTON) (pp. 1-4). IEEE. DOI: 10.1109/ICTON51198.2020.9203478 4. (j2) Aznar-Poveda, J., Garcia-Sanchez, A. J., Egea-Lopez, E., and Garcia-Haro, J. (2021, January). MDPRP: A Q-Learning Approach for the Joint Control of Beaconing Rate and Transmission Power in VANETs. IEEE Access, 9, 10166-10178. DOI: 10.1109/ACCESS.2021.3050625 5. (j3) Aznar-Poveda, J., Garcia-Sanchez, A. J., Egea-Lopez, E., and Garcia-Haro, J. (2021, August). Simultaneous Data Rate and Transmission Power Adaptation in V2V Communications: A Deep Reinforcement Learning Approach. IEEE Access 9, 122067-122081. DOI: 10.1109/ACCESS.2021.3109422 6. (j4) Aznar-Poveda, J., Garcia-Sanchez, A. J., Egea-Lopez, E., and Garcia-Haro, J. (2021, December). Approximate Reinforcement Learning to Control Beaconing Congestion in Distributed Networks. Scientific Reports, 12, 142. DOI: 10.1038/s41598-021-04123-9Escuela Internacional de Doctorado de la Universidad Politécnica de CartagenaUniversidad Politécnica de CartagenaPrograma de Doctorado en Tecnologías de la Información y las Comunicacione
