Learning Team-Based Navigation: A Review of Deep Reinforcement Learning Techniques for Multi-Agent Pathfinding

Multi-agent pathfinding (MAPF) is a critical field in many large-scale robotic applications, often being the fundamental step in multi-agent systems. The increasing complexity of MAPF in complex and crowded environments, however, critically diminishes the effectiveness of existing solutions. In contrast to other studies that have either presented a general overview of the recent advancements in MAPF or extensively reviewed Deep Reinforcement Learning (DRL) within multi-agent system settings independently, our work presented in this review paper focuses on highlighting the integration of DRL-based approaches in MAPF. Moreover, we aim to bridge the current gap in evaluating MAPF solutions by addressing the lack of unified evaluation metrics and providing comprehensive clarification on these metrics. Finally, our paper discusses the potential of model-based DRL as a promising future direction and provides its required foundational understanding to address current challenges in MAPF. Our objective is to assist readers in gaining insight into the current research direction, providing unified metrics for comparing different MAPF algorithms and expanding their knowledge of model-based DRL to address the existing challenges in MAPF.Comment: 36 pages, 10 figures, published in Artif Intell Rev 57, 41 (2024

Mobil robotların yol planması için metasezgisel hibrit algoritmalar geliştirilmesi ve uygulanması

06.03.2018 tarihli ve 30352 sayılı Resmi Gazetede yayımlanan “Yükseköğretim Kanunu İle Bazı Kanun Ve Kanun Hükmünde Kararnamelerde Değişiklik Yapılması Hakkında Kanun” ile 18.06.2018 tarihli “Lisansüstü Tezlerin Elektronik Ortamda Toplanması, Düzenlenmesi ve Erişime Açılmasına İlişkin Yönerge” gereğince tam metin erişime açılmıştır.Anahtar kelimeler: Meta-sezgisel algoritmalar, Mobil Robotlar, Yol planlama, Matlab, ROS (Robot Operating System) Günümüzde teknolojik gelişmelere paralel olarak, robot teknolojisinin tüm sektörlerde yaygın olarak kullanıldığı görülmektedir. Endüstriyel ve teknik uygulamalarda mobil robotlar güvenilirlik, erişilebilirlik ve maliyet gibi sahip olduğu üstün özelliklerle ön plana çıkmaktadır. Mobil robotlar hareket halinde olduklarından diğer robotlara göre enerji tüketimi daha fazla önem kazanmaktadır. Dolayısıyla mobil robotlar için hedefe ulaşabilecek en kısa yolun belirlenmesi önemli bir çalışma alanı olmuştur. Bu kapsamda, mobil robotlarda yol planlama algoritmalarının geliştirilmesi üzerine çalışmalara odaklanılmış olup konu hala güncelliğini korumaktadır. Bu tez çalışmasının amacı, meta-sezgisel algoritma tabanlı mobil robot yol planlaması için özgün bir hibrit algoritma geliştirmektir. İlk olarak meta-sezgisel tabanlı yol planlama algoritmaları incelenerek daha etkili ve özgün bir hibrit algoritmanın geliştirilmesi için zemin hazırlandı. Kullanılan algoritmaların amacı meta-sezgisel algoritmaların verimliliğini ve yol planlamada yolun minimize edilerek belirlenen zaman, maliyet gibi en önemli performans kriterlerini geliştirmektir. Bu çalışmada öncelikle tek bir tepe kamerası kullanılarak görüntü düzleminden alınan görüntü işlenerek mobil robotların ve engellerin koordinatları alınmaktadır. Daha sonra üzerinde engeller bulunan statik bir ortamda tekli ve çoklu mobil robotların yol planlaması için özgün hibrit bir algoritma geliştirildi ve uygulandı. PSO(Parçacık Sürü Optimizasyonu), FA (Ateş Böceği Algoritması), CS (Guguk Kuşu Algoritması) gibi meta-sezgisel algoritmalardan her biri ayrı ayrı kullanılarak elde edilen sonuçlar benzer çalışmalarla karşılaştırıldı. Daha sonra aynı ortam şartlarında robotlar için yol planlamalar yapmak üzere çalışmaya özgü CS-PSO(Guguk Kuşu AlgoritmasıParçacık Sürü Optimizasyonu), CS-FA(Guguk Kuşu Algoritması-Ateş Böceği Algoritması), CS-PSO-FA (Guguk Kuşu Algoritması-Parçacık Sürü OptimizasyonuAteş Böceği Algoritması) gibi hibrit algoritmalar geliştirildi. Kameradan alınan görüntüyü işleyerek harita oluşturma, algoritmalar ile yol bulma, robot ile haberleşme ve robotun algoritmalar ile belirleyeceği yol bilgisine göre ilerleyebilmesi gibi tüm faaliyetleri kolaylıkla gerçekleştirebilmek amacıyla MATLAB-GUI (Graphical User Interface) tabanlı bir ara yüz tasarlanmıştır. Ayrıca geliştirilen algoritmaları doğrulamak üzere fiziksel ortamda çeşitli uygulamalar gerçekleştirilmekte ve elde edilen sonuçların karşılaştırılması yapılmaktadır. Son olarak geliştirilen CS-PSO-FA hibrit algoritmasıyla elde edilen yolun diğer algoritmalara göre daha kısa olduğu ve böylece daha yüksek bir performansa sahip olduğu kanıtlanmıştır. DEVELOPMENT AND APPLICATION OF META-HEURISTIC HYBRID ALGORITHMS FOR PATH PLANNING OF MOBIL ROBOTSKeywords: Meta-heuristic algorithm, Mobil Robots, Path Planning, Matlab, ROS (Robot Operating System) Today, parallel to technological developments, robot technology seems to be widely used in all sectors. In industrial and technical applications, mobile robots come into prominence with superior features such as reliability, accessibility and cost. Energy consumption is more important for mobile robots than other robots because mobile robots are in motion. Therefore, determining the shortest path to reach the target for mobile robots has become an important field of study. In this context, in mobile robots the development of road planning algorithms has been focused and the issue keep up-to-date.The purpose of this thesis is to develop an authentic hybrid algorithm for meta-heuristic algorithm based mobile robot path planning. Firstly, metaheuristic-based path planning algorithms were examined and the basis for developing a more efficient and authentic hybrid algorithm was prepared. The purpose of the algorithms used is to improve the efficiency of meta-heuristic algorithms and the most important performance criteria such as time, cost, etc., determined by minimizing the path in the path planning. In this study, coordinates of mobile robots and obstacles are taken by processing the image taken from the image plane using a single top camera. In a static environment with obstacles on it, an authentic hybrid algorithm for path planning of single and multiple mobile robots has been developed and implemented. The results were obtained using every meta-heuristic algorithm such as PSO (Particle Swarm Optimization), FA (Firefly Algorithm) and CS (Cuckoo Search Algorithm) separately and these results were compared with similar studies. Then, hybrid algorithms specific to study such as CS-PSO (Cuckoo Search Algorithm - Particle Swarm Optimization), CS-FA (Cuckoo Search Algorithm - Firefly Algorithm) and CS-PSO-FA (Cuckoo Search Algorithm - Particle Swarm Optimization - Firefly Algorithm) were developed to make path planning for robots in the same environment conditions. A MATLAB-GUI (Graphical User Interface) based interface was designed in order to easily perform all activities such as generating maps by processing the images taken from the camera, finding paths with algorithms, communicating with robots, and navigating according to path information that the robot determines with algorithms. In addition, various applications are performed in the physical environment to verify the developed algorithms and the obtained results are compared. In conclusion, it is proved that the path obtained with the developed CS-PSO-FA hybrid algorithm is shorter than the other algorithms and thus has a higher performance