Совместное управление сигналами светофоров и траекториями движения транспортных средств

The transportation system is one of the most important parts of the country's economy. At the same time, the growth in road traffic has a significant negative impact on the economic performance of the industry. One of the ways to increase the efficiency of using the transportation infrastructure is to manage traffic flows, incl. by controlling traffic signals at signalized intersections. One of the trends in the development of intelligent transportation systems is the creation of vehicular ad hoc networks that allow the exchange of information between vehicles and infrastructure, as well as the development of autonomous vehicles. As a result, it becomes possible to formulate the problem of cooperative control of vehicle trajectories and traffic signals to increase the capacity of intersections and reduce fuel consumption and travel time. This paper presents a method for managing traffic flow at an intersection, which consists of the cooperative control of traffic signals and trajectories of connected/autonomous vehicles. The developed method combines an algorithm for the adaptive control of traffic signals based on a deterministic model for predicting the movement of vehicles and a two-stage algorithm for constructing the trajectory of vehicles. The objective optimization function used to construct the optimal trajectories takes into account fuel consumption, travel time on the road lane, and waiting time at the intersection. Experimental studies of the developed method were carried out in the microscopic traffic simulation package SUMO using three simulation scenarios, including two synthetic scenarios and a scenario in a real urban environment. The results of experimental studies confirm the effectiveness of the developed method in terms of fuel consumption, travel time, and waiting time in comparison with the adaptive traffic signal control algorithm.Транспортная система является одной из важнейших частей экономики страны. В то же время, рост интенсивности транспортного потока оказывает существенное отрицательное влияние на экономические показатели отрасли. Одним из способов повышения эффективности использования транспортной инфраструктуры является управление транспортными потоками. Решение задачи эффективного управления транспортными потоками в настоящее время часто осуществляется путем применения систем управления сигналами светофоров на регулируемых перекрёстках. В связи с развитием и постепенным внедрением самоорганизующихся автомобильных сетей, позволяющих обмениваться информацией между транспортными средствами и объектами инфраструктуры, а также развитием автономных транспортных средств другим перспективным подходом к решению рассматриваемой задачи является управление траекторией движения беспилотных транспортных средств. Как следствие, становится возможной постановка задачи совместного управления траекториями движения транспортных средств и сигналами светофоров для повышения пропускной способности перекрестков, снижения потребляемого топлива и времени движения. В данной работе представлен метод управления транспортным потоком на перекрестке, заключающийся в совместном управлении сигналами светофоров и траекториями движения подключенных/автономных транспортных средств. Разработанный метод сочетает метод адаптивного управления сигналами светофоров, основанный на детерминированной модели прогнозирования движения транспортных средств, и двухэтапный алгоритм построения траектории движения транспортных средств. Целевая функция оптимизации, используемая для построения оптимальных траекторий, учитывает расход топлива, время движения по дорожной полосе и время ожидания на перекрестке. Экспериментальные исследования разработанного метода проведены в системе микроскопического моделирования движения транспортных средств SUMO с использованием трех сценариев моделирования, включающих синтетические сценарии и сценарий движения в реальной городской среде. Результаты экспериментальных исследований подтверждают эффективность разработанного метода по критериям потребления топлива, времени движения и времени ожидания по сравнению с методом адаптивного управления сигналами светофоров

Совместное управление сигналами светофоров и траекториями движения транспортных средств

Транспортная система является одной из важнейших частей экономики страны. В то же время, рост интенсивности транспортного потока оказывает существенное отрицательное влияние на экономические показатели отрасли. Одним из способов повышения эффективности использования транспортной инфраструктуры является управление транспортными потоками. Решение задачи эффективного управления транспортными потоками в настоящее время часто осуществляется путем применения систем управления сигналами светофоров на регулируемых перекрёстках. В связи с развитием и постепенным внедрением самоорганизующихся автомобильных сетей, позволяющих обмениваться информацией между транспортными средствами и объектами инфраструктуры, а также развитием автономных транспортных средств другим перспективным подходом к решению рассматриваемой задачи является управление траекторией движения беспилотных транспортных средств. Как следствие, становится возможной постановка задачи совместного управления траекториями движения транспортных средств и сигналами светофоров для повышения пропускной способности перекрестков, снижения потребляемого топлива и времени движения. В данной работе представлен метод управления транспортным потоком на перекрестке, заключающийся в совместном управлении сигналами светофоров и траекториями движения подключенных/автономных транспортных средств. Разработанный метод сочетает метод адаптивного управления сигналами светофоров, основанный на детерминированной модели прогнозирования движения транспортных средств, и двухэтапный алгоритм построения траектории движения транспортных средств. Целевая функция оптимизации, используемая для построения оптимальных траекторий, учитывает расход топлива, время движения по дорожной полосе и время ожидания на перекрестке. Экспериментальные исследования разработанного метода проведены в системе микроскопического моделирования движения транспортных средств SUMO с использованием трех сценариев моделирования, включающих синтетические сценарии и сценарий движения в реальной городской среде. Результаты экспериментальных исследований подтверждают эффективность разработанного метода по критериям потребления топлива, времени движения и времени ожидания по сравнению с методом адаптивного управления сигналами светофоров

CVLight: Decentralized Learning for Adaptive Traffic Signal Control with Connected Vehicles

This paper develops a decentralized reinforcement learning (RL) scheme for multi-intersection adaptive traffic signal control (TSC), called "CVLight", that leverages data collected from connected vehicles (CVs). The state and reward design facilitates coordination among agents and considers travel delays collected by CVs. A novel algorithm, Asymmetric Advantage Actor-critic (Asym-A2C), is proposed where both CV and non-CV information is used to train the critic network, while only CV information is used to execute optimal signal timing. Comprehensive experiments show the superiority of CVLight over state-of-the-art algorithms under a 2-by-2 synthetic road network with various traffic demand patterns and penetration rates. The learned policy is then visualized to further demonstrate the advantage of Asym-A2C. A pre-train technique is applied to improve the scalability of CVLight, which significantly shortens the training time and shows the advantage in performance under a 5-by-5 road network. A case study is performed on a 2-by-2 road network located in State College, Pennsylvania, USA, to further demonstrate the effectiveness of the proposed algorithm under real-world scenarios. Compared to other baseline models, the trained CVLight agent can efficiently control multiple intersections solely based on CV data and achieve the best performance, especially under low CV penetration rates.Comment: 29 pages, 14 figure

Comparative study on classical and modern ways of traffic signal control with the use of a simulator

Ο έλεγχος των φωτεινών σηματοδοτών κυκλοφορίας αποτελεί ένα καίριο πρόβλημα στον σχεδιασμό των πόλεων και στη διαχείριση των μεταφορών, με σημαντικές επιπτώσεις στη συμφόρηση, στις εκπομπές οχημάτων και στους χρόνους ταξιδιού. Οι παραδοσιακοί αλγόριθμοι είναι βασισμένοι σε κανόνες, συχνά στατικοί και ανίκανοι να προσαρμοστούν στην δυναμική κίνηση των οχημάτων. Αυτό οδήγησε στην προσπάθεια υλοποίησης αλγορίθμων μηχανικής μάθησης για την βελτιστοποίηση των χρόνων των φωτεινών σηματοδοτών. Η παρούσα μελέτη παρουσιάζει μια συγκριτική ανάλυση πέντε αλγορίθμων ελέγχου της κυκλοφορίας - παραδοσιακών μεθόδων όπως η μέθοδος Webster, ο Greenwave και ο Maxband, μαζί με σύγχρονες μεθόδους όπως o Max Pressure και ένα μοντέλο μηχανικής μάθησης DQN - σε διαφορετικά σενάρια κυκλοφορίας. Η υλοποίηση των παραδοσιακών μεθόδων είναι σχετικά απλή. Η μέθοδος Webster έχει ως στόχο στην ελαχιστοποίηση της καθυστέρησης των οχημάτων προσαρμόζοντας το μήκος του κύκλου των σηματοδοτών κυκλοφορίας βάσει του όγκου της κίνησης και του κορεσμού σε έναν δρόμο. Ο Greenwave διευκολύνει τον συντονισμό των φωτεινών σηματοδοτών στις αρτηριακές οδούς προκειμένου να δημιουργηθεί ένα "πράσινο κύμα" συνεχόμενων πράσινων φωτεινών σηματοδοτών για τα οχήματα. Ο Maxband βελτιστοποιεί επίσης τις αρτηριακές οδούς προσαρμόζοντας τους χρόνους των πράσινων φάσεων για να επιτευχθεί η μέγιστη δυνατή ροή στην κυκλοφορία. Οι σύγχρονες μέθοδοι ακολουθούν διαφορετική προσέγγιση. Ο Max Pressure χρησιμοποιεί πραγματικά δεδομένα και σένσορες για να προσαρμόζει τους χρόνους των σηματοδοτών, δίνοντας προτεραιότητα σε κατευθύνσεις με υψηλή συγκέντρωση οχημάτων. Αντίθετα, το μοντέλο DQN αξιοποιεί την ενισχυτική μάθηση για να μάθει τους βέλτιστους χρόνους των φωτεινών φάσεων βάσει των καταστάσεων της κυκλοφορίας, των ενεργειών και των αντίστοιχων ανταμοιβών. Η αρχιτεκτονική του μοντέλου DQN περιλαμβάνει ένα επίπεδο εισόδου που λαμβάνει την αναπαράσταση της κατάστασης της κυκλοφορίας, κρυφά επίπεδα για την καταγραφή πολύπλοκων συσχετίσεων μεταξύ των καταστάσεων της κυκλοφορίας και των ενεργειών, και ένα επίπεδο εξόδου για την πρόβλεψη των καλύτερων δυνατών τιμών για συγκεκριμένες ενέργειες. Η αξιολόγηση αυτών των μεθόδων πραγματοποιείται μέσω προσομοιώσεων χρησιμοποιώντας το πρόγραμμα προσομοίωσης κυκλοφορίας SUMO σε επτά σενάρια, που κυμαίνονται από ένα απλό μονό σημείο διασταύρωσης έως ένα πολύπλοκο αστικό πλέγμα που αντιγράφει μια περιοχή στο Μανχάταν. Χρησιμοποιούνται μετρικές απόδοσης, όπως ο συνολικός χρόνος καθυστέρησης και ο συνολικός χρόνος προσομοίωσης, για να γίνει η σύγκριση αυτών των μεθόδων. Τα αποτελέσματα αποκαλύπτουν ότι ο DQN είχε καλύτερες επιδόσεις από όλες τις άλλες μεθόδους σε όλα τα σενάρια, επιδεικνύοντας υψηλή αποδοτικότητα και ευελιξία ακόμη και σε απλές καταστάσεις κίνησης και επιδεικνύοντας ανθεκτικότητα σε υψηλή πολυπλοκότητα και όγκο κυκλοφορίας. Η προσαρμοστικότητα και η δυνατότητα μάθησης του DQN του επιτρέπουν να βελτιστοποιεί τα σήματα βάσει προηγούμενων εμπειριών και της δυναμικής της κυκλοφορίας, καθιστώντας το έναν ελπιδοφόρο τρόπο για τη μελλοντική διαχείριση της κυκλοφορίας. Παρά τα πλεονεκτήματα των παραδοσιακών μεθόδων, ειδικά σε συγκεκριμένες περιπτώσεις, οι σύγχρονες τεχνικές που βασίζονται σε τεχνητή νοημοσύνη, όπως ο DQN, θα μπορούσαν να οδηγήσουν σε πιο αποτελεσματική διαχείριση της κυκλοφορίας και μείωση των χρόνων αναμονής. Τα ευρήματα αυτής της μελέτης υποδεικνύουν μια δυνητική αλλαγή στον έλεγχο των φωτεινών σηματοδοτών κυκλοφορίας προς μεθόδους που βασίζονται σε μηχανική μάθηση. Ωστόσο, απαιτείται περαιτέρω έρευνα για να εξεταστεί η απόδοση του DQN σε άλλα σενάρια κυκλοφορίας και του τρόπου ενσωμάτωσης αυτών των συστημάτων στην πραγματική διαχείριση της κυκλοφορίας και να δοθεί έμφαση και στο κόστος για εγκατάσταση και συντήρηση των συστημάτων.Traffic signal control is an important challenge in urban planning and transport management, with significant implications for congestion, vehicle emissions, and travel times. Traditional traffic control algorithms are based on specific rules, static, and are not able to adapt to the different situations of traffic flow. This has led to the exploration of dynamic and machine learning algorithms to optimize traffic signal timings. This study presents a comparative analysis of five traffic control algorithms - classical methods like Webster's method, Greenwave, and Maxband, and more modern methods like Max Pressure and a DQN model, across a variety of traffic scenarios. The implementation of classical methods is relatively straightforward. Webster's method aims to minimize delay by adjusting the cycle length of signals based on the critical lane volume and the saturation flow rate. Greenwave facilitates the coordination of traffic signals on arterial roads to create a "green wave" of successive green lights for vehicles. Maxband also optimizes arterial roads by adjusting green times to create maximum throughput. The modern methods take a different approach. Max Pressure uses real-time data to adjust signal timings, favoring directions with larger vehicle queues. Meanwhile, the DQN model leverages reinforcement learning(RL) to learn optimal traffic signal timings based on traffic states, actions, and corresponding rewards. The DQN model's architecture includes an input layer that receives traffic state representation, hidden layers for capturing complex correlations between traffic states and actions, and an output layer for predicting optimum values for specific actions. Evaluation of these methods is conducted through simulations using the SUMO traffic simulator across seven scenarios, ranging from a simple single intersection to a complex urban grid which resembles Manhattan. Performance metrics, including total delay and total simulation time for all the vehicles to exit the grid, are used to compare these methods. Results reveal that the DQN method has better results over all other methods across all scenarios, demonstrating superior efficiency even in less complicated situations and showing flexibility in dealing with high complexity and traffic volume. DQN's adaptability and learning capability allow it to optimize signals based on past experiences and adaptive traffic flow dynamics, proving it to be a promising method for future traffic management. While classical methods have their advantages, especially in certain circumstances, modern AI-driven techniques like DQN could lead to more efficient traffic management and reduction in waiting times. This study's findings indicate a potential shift in traffic signal control towards machine learning-based methods. However, further research is needed to investigate DQN's performance under other traffic scenarios and to determine how to integrate such systems into real-world traffic management with a focus also on the cost for installing and maintaining the system