A Deep Reinforcement Learning Approach for Pathfinding in Computer Games

Abstract

Oyungeliştirmenin en büyük zorluklarından biri, hem tatmin edici derecede gerçekçihareket sonuçları üreten hem de oyun geliştiricilerin sınırsız hayal gücününyarattığı dünyalarda farklı senaryoları gerçekleştirebilen bir yol bulmaalgoritması üretmektir. Ayrıca oyunlar son kullanıcıya yönelik programlarolduğu için içerdikleri sistemlerin mümkün olduğunca az bilgisayar kaynağıkullanması ve maliyet açısından mümkün olan en kısa sürede geliştirilmesiistenmektedir. Mevcut yol bulma çözümleri, soruna güçlü yanıtlar üretebilse deçözülmesi uzun bir geliştirme süresi gerektiren bazı kronik sorunları daiçermektedir. Bu çözümler, baştan sona gezinilebilen ve sürekli haritalarda çokiyi çalışmaktadır. Ancak yürüme dışında zıplama, uçma gibi farklı hareketmekaniklerinin de kullanıldığı çeşitli engellerin aşılması gereken durumlaraçözüm getirememektedir. Çoğu zaman geliştiricilerin yol bulma örgülerinibirbirine linklerle manuel olarak bağlaması gerekmektedir. Bu da farklı hareketmekaniklerine sahip haritalarda oyun geliştirme sürecini önemli ölçüde uzatmaktadır.Aynı zamanda bağlanan linkler manuel olarak kurulduğu için link üzerindehareket eden cismin hareketi doğal görünmemektedir. Bu çalışmanın odak noktası,mevcut yol bulma algoritmalarının zorluklarını aşmak için yapay sinir ağları vederin pekiştirmeli öğrenme kullanarak bir düğüm ağı oluşturacak bir sistemoluşturmaktır. Son olarak, yapım aşamasında yapay sinir ağları kullanılmayacağındanson kullanıcı için hızlı ve daha az kaynak kullanan bir sistemhedeflenmektedir.One ofthe biggest challenges of game development is to produce a pathfindingalgorithm that both produces satisfactory realistic movement results and cansolve different scenarios in worlds created by game developers' unlimitedimagination. Furthermore, since the games are programs for the end user, it isdesired that the systems they contain use as little computer resources aspossible and be developed as quickly as possible in terms of cost. Althoughexisting solutions can produce strong answers to the problem, they also containsome chronic problems that take a long development time to solve. Existing solutionswork very well on maps that are continuous and can be navigated by moving fromstart to finish. However, they cannot find a solution in cases where variousobstacles must be overcome by various movement mechanics such as jumping,flying are used other than walking. Most of the time developers must manuallyassign links to meshes, significantly prolonging the game development processon the maps with such features. At the same time, since the connected links areestablished manually, the movement of the object moving on the link does notseem natural. The focus of this study is to create a system that will generatea node network by using artificial neural networks and deep reinforcementlearning to overcome the difficulties of existing pathfinding algorithms.Finally, a system that is fast and uses less resources is aimed for the enduser, since artificial neural networks will not be used during the build phase.&nbsp;</p

    Similar works