Influence map-based pathfinding algorithms in video games

Path search algorithms, i.e., pathfinding algorithms, are used to solve shortest path problems by intelligent agents, ranging from computer games and applications to robotics. Pathfinding is a particular kind of search, in which the objective is to find a path between two nodes. A node is a point in space where an intelligent agent can travel. Moving agents in physical or virtual worlds is a key part of the simulation of intelligent behavior. If a game agent is not able to navigate through its surrounding environment without avoiding obstacles, it does not seem intelligent. Hence the reason why pathfinding is among the core tasks of AI in computer games. Pathfinding algorithms work well with single agents navigating through an environment. In realtime strategy (RTS) games, potential fields (PF) are used for multi-agent navigation in large and dynamic game environments. On the contrary, influence maps are not used in pathfinding. Influence maps are a spatial reasoning technique that helps bots and players to take decisions about the course of the game. Influence map represent game information, e.g., events and faction power distribution, and is ultimately used to provide game agents knowledge to take strategic or tactical decisions. Strategic decisions are based on achieving an overall goal, e.g., capture an enemy location and win the game. Tactical decisions are based on small and precise actions, e.g., where to install a turret, where to hide from the enemy. This dissertation work focuses on a novel path search method, that combines the state-of-theart pathfinding algorithms with influence maps in order to achieve better time performance and less memory space performance as well as more smooth paths in pathfinding.Algoritmos de pathfinding são usados por agentes inteligentes para resolver o problema do caminho mais curto, desde a àrea jogos de computador até à robótica. Pathfinding é um tipo particular de algoritmos de pesquisa, em que o objectivo é encontrar o caminho mais curto entre dois nós. Um nó é um ponto no espaço onde um agente inteligente consegue navegar. Agentes móveis em mundos físicos e virtuais são uma componente chave para a simulação de comportamento inteligente. Se um agente não for capaz de navegar no ambiente que o rodeia sem colidir com obstáculos, não aparenta ser inteligente. Consequentemente, pathfinding faz parte das tarefas fundamentais de inteligencia artificial em vídeo jogos. Algoritmos de pathfinding funcionam bem com agentes únicos a navegar por um ambiente. Em jogos de estratégia em tempo real (RTS), potential fields (PF) são utilizados para a navegação multi-agente em ambientes amplos e dinâmicos. Pelo contrário, os influence maps não são usados no pathfinding. Influence maps são uma técnica de raciocínio espacial que ajudam agentes inteligentes e jogadores a tomar decisões sobre o decorrer do jogo. Influence maps representam informação de jogo, por exemplo, eventos e distribuição de poder, que são usados para fornecer conhecimento aos agentes na tomada de decisões estratégicas ou táticas. As decisões estratégicas são baseadas em atingir uma meta global, por exemplo, a captura de uma zona do inimigo e ganhar o jogo. Decisões táticas são baseadas em acções pequenas e precisas, por exemplo, em que local instalar uma torre de defesa, ou onde se esconder do inimigo. Esta dissertação foca-se numa nova técnica que consiste em combinar algoritmos de pathfinding com influence maps, afim de alcançar melhores performances a nível de tempo de pesquisa e consumo de memória, assim como obter caminhos visualmente mais suaves

Sampling-Based Exploration Strategies for Mobile Robot Autonomy

A novel, sampling-based exploration strategy is introduced for Unmanned Ground Vehicles (UGV) to efficiently map large GPS-deprived underground environments. It is compared to state-of-the-art approaches and performs on a similar level, while it is not designed for a specific robot or sensor configuration like the other approaches. The introduced exploration strategy, which is called Random-Sampling-Based Next-Best View Exploration (RNE), uses a Rapidly-exploring Random Graph (RRG) to find possible view points in an area around the robot. They are compared with a computation-efficient Sparse Ray Polling (SRP) in a voxel grid to find the next-best view for the exploration. Each node in the exploration graph built with RRG is evaluated regarding the ability of the UGV to traverse it, which is derived from an occupancy grid map. It is also used to create a topology-based graph where nodes are placed centrally to reduce the risk of collisions and increase the amount of observable space. Nodes that fall outside the local exploration area are stored in a global graph and are connected with a Traveling Salesman Problem solver to explore them later

Automated generation of geometrically-precise and semantically-informed virtual geographic environnements populated with spatially-reasoning agents

La Géo-Simulation Multi-Agent (GSMA) est un paradigme de modélisation et de simulation de phénomènes dynamiques dans une variété de domaines d'applications tels que le domaine du transport, le domaine des télécommunications, le domaine environnemental, etc. La GSMA est utilisée pour étudier et analyser des phénomènes qui mettent en jeu un grand nombre d'acteurs simulés (implémentés par des agents) qui évoluent et interagissent avec une représentation explicite de l'espace qu'on appelle Environnement Géographique Virtuel (EGV). Afin de pouvoir interagir avec son environnement géographique qui peut être dynamique, complexe et étendu (à grande échelle), un agent doit d'abord disposer d'une représentation détaillée de ce dernier. Les EGV classiques se limitent généralement à une représentation géométrique du monde réel laissant de côté les informations topologiques et sémantiques qui le caractérisent. Ceci a pour conséquence d'une part de produire des simulations multi-agents non plausibles, et, d'autre part, de réduire les capacités de raisonnement spatial des agents situés. La planification de chemin est un exemple typique de raisonnement spatial dont un agent pourrait avoir besoin dans une GSMA. Les approches classiques de planification de chemin se limitent à calculer un chemin qui lie deux positions situées dans l'espace et qui soit sans obstacle. Ces approches ne prennent pas en compte les caractéristiques de l'environnement (topologiques et sémantiques), ni celles des agents (types et capacités). Les agents situés ne possèdent donc pas de moyens leur permettant d'acquérir les connaissances nécessaires sur l'environnement virtuel pour pouvoir prendre une décision spatiale informée. Pour répondre à ces limites, nous proposons une nouvelle approche pour générer automatiquement des Environnements Géographiques Virtuels Informés (EGVI) en utilisant les données fournies par les Systèmes d'Information Géographique (SIG) enrichies par des informations sémantiques pour produire des GSMA précises et plus réalistes. De plus, nous présentons un algorithme de planification hiérarchique de chemin qui tire avantage de la description enrichie et optimisée de l'EGVI pour fournir aux agents un chemin qui tient compte à la fois des caractéristiques de leur environnement virtuel et de leurs types et capacités. Finalement, nous proposons une approche pour la gestion des connaissances sur l'environnement virtuel qui vise à supporter la prise de décision informée et le raisonnement spatial des agents situés

Architecture analysis of peer-to-peer network structure and data exhanges for distribution of contraband material.

Because of the anonymity that P2P networks provide, they are an ideal medium for the exchange of contraband material such as child pornography. Unfortunately, not much research has been conducted on how to best monitor these types of networks for contraband searching and sharing activity. This thesis proposes techniques to advance the state of the art in peer to peer data exchange monitoring and detection of nodes that participate in distributing and sharing contraband material. Because of the legal considerations in working with a live P2P network and the technical di culty in developing and testing a surveillance system for P2P networks, a simulator was developed that attempts to accurately simulate the behavior of users on P2P networks based upon empirical data collected from several researchers. With the help of the simulation platform that has been developed, a complete methodology for monitoring contraband activity and reporting the most proli c contraband users has been created. This methodology, if implemented on an actual P2P network, should allow the detection of members of the network who are the most active sharers and distributors of contraband material

Qualitative Optimization : Development of a Methodology for Determining the Shortest Path of a Network with Interval-valued Arc Lengths

Industrial Engineering and Managemen

Developing a Computational Framework for a Construction Scheduling Decision Support Web Based Expert System

Decision-making is one of the basic cognitive processes of human behaviors by which a preferred option or a course of action is chosen from among a set of alternatives based on certain criteria. Decision-making is the thought process of selecting a logical choice from the available options. When trying to make a good decision, all the positives and negatives of each option should be evaluated. This decision-making process is particularly challenging during the preparation of a construction schedule, where it is difficult for a human to analyze all possible outcomes of each and every situation because, construction of a project is performed in a real time environment with real time events which are subject to change at any time. The development of a construction schedule requires knowledge of the construction process that takes place to complete a project. Most of this knowledge is acquired through years of work/practical experiences. Currently, working professionals and/or students develop construction schedules without the assistance of a decision support system (that provides work/practical experiences captured in previous jobs or by other people). Therefore, a scheduling decision support expert system will help in decision-making by expediting and automating the situation analysis to discover the best possible solution. However, the algorithm/framework needed to develop such a decision support expert system does not exist so far. Thus, the focus of my research is to develop a computational framework for a web-based expert system that helps the decision-making process during the preparation of a construction schedule. My research to develop a new computational framework for construction scheduling follows an action research methodology. The main foundation components for my research are scheduling techniques (such as: Job Shop Problem), path-finding techniques (such as: travelling salesman problem), and rule-based languages (such as JESS). My computational framework is developed by combining these theories. The main contribution of my dissertation to computational science is the new scheduling framework, which consists of a combination of scheduling algorithms that is tested with construction scenarios. This framework could be useful in more areas where automatic job and/or task scheduling is necessary

Multi-agent Based Large Scale Traffic Flow Simulation Of Intelligent Transportation Systems

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2013Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2013Kentsel yaşamın günümüzde en temel problemlerinden biri yoğun trafik, trafikte meydana gelen kazalar ve trafikte yaşanan zaman, can ve mal kaybıdır. Şehir yaşantısında herkes yoğunluktan, ve bu yoğunluğa bağlı olarak ulaşımdaki zorluklardan şikayetçidir. Nüfustaki yoğunluktan ve özellikle mesai öncesi ve sonrası oluşan uzun kuyruklu trafik bir çoğumuzun zamanını çalmakta ve yaşam kalitemizi önemli ölçüde düşürmektedir. Zaman kaybının yanı sıra, trafikte geçirilen uzun bekleyişlerden sonra sürücülerin dikkatinin dağılmasından yada sabırsız davranışlarından kaynaklanan can ve mal kayıpları da olabilmektedir. Elektronik, yazılım, mekanik ve kontrol alanlarındaki ilerlemeler sayesinde sürücüsüz araçlar üzerinde yapılan araştırmalar hız kazandı. İlk olarak sürücüye yardımcı olan sistemler gelişmeye başladı. Hız sabitleme sistemleri, erken uyarı sistemleri, sürüş kontrol sistemleri ve otomatik park sistemleri araçlara entegre olan ilk akıllı teknolojilerdi. Bu teknolojiler sayesinde yarı-otonom araçlar gündeme geldi. Özellikle karar verme konusunda yardımcı olabilecek tüm sistemler yarı-otonom araç teknolojisine hizmet etmektedir. Karar destek mekanizmalarının yanında kendi kendine karar verebilen teknolojiler de gelişmeye başlamıştır. Böylece tam otonom araçlar gündeme gelmiştir. Tam otonom araçlar yüksek teknolojiyle donatılmış, kendi kendine seyredebilen araçlardır. Üzerinde konum belirleyiciler, ivme ölçerler, akustik algılayılar, mesafe sensörleri gibi birçok sensörü barındıran ve bu bilgileri kullanarak araç kontrolünü sağlayan yapay zeka ile donatılmışlardır. Otonom araçların elektromekanik araştırmalarının yanında, otonom araçların trafikle olan iletişimi üzerine de birçok çalışma yapılmıştır. Dinamik olarak değişen şehir trafiğinde anlık bilgiye ulaşmak ve bunu yorumlamak çok önemlidir. Özellikle akıllı taşıt sistemlerinin ve ulaştırma mühendislerinin üzerinde durduğu konular araçların trafikte optimum şekilde seyretmesidir. Otonom araçlar kadar trafikte araçların yönlendirilmesi de önemlidir. Bahsedilen bütün teknolojiler, Akıllı Ulaşım Sistemleri adı altında toplanmaktadır, ve hepsi aynı amaca hizmet etmektedir; trafik kazalarını ve buna bağlı can ve mal kaybını önlemek, trafikteki seyir rahatlığını arttırmak, araç kullanım sayısını ve yakıt tüketimini azaltarak karbondioksit salınımını engellemektir. Bu gelişmelerden de anlaşıldığı gibi yakın gelecekte otonom araçların şehir trafiğine karışacaklarını düşünmek hayal olmayacaktır. Google‘ın üzerinde çalıştığı insansız araçlar (Toyota Prius) Amerika’nın Nevada eyaletinde ehliyetlerini almışlardır ve prototipler şehir trafiğinde aktif olarak seyir etmektedir. Projenin gidişatına bakılırsa otonom araçların amaca yönelik olarak insanlara trafikte büyük katkıda bulundukları görülmektedir. Gün geçtikçe otonom araçların sayısının artacağı düşünülüyor, ancak otonom araçlar trafiği insan sürücülerle paylaşmak zorundalar ve bu beklenmedik sonuçlar doğurabilir. Karmaşaya benzeyen trafik ortamına daha da fazla karışıklık getirebilirler. O nedenle otonom araçlarının sayılarının artmasıyla birlikte, trafikteki etkileri analiz edilmelidir. Insanlar öyle bir noktaya geleceklerdir ki, otonom araç almanın ne zaman mantıklı olacağını düşüneceklerdir. Bu durumu yaşamadan önce benzetim programlarıyla bu durum analiz edilmelidir. Trafiği simule etmek için birçok yazılım geliştirilmiştir. Ancak bu yazılımların çoğu tüm araçların aynı karakterde, aynı teknolojiyle donatılmış ve hepsinin otonom olduğu varsayılan benzetim ortamlarıdır. Aynı davranışı sergileyen, aynı şekilde seyir eden araçların paylaştığı bir trafk ortamı simule edilmeketedir. Ancak böyle bir trafikte araçları otnom olanlar ve otonom olmayanlar diye ikiye ayırmak yeterli olmayacaktır.Ayrıca otonom araçların sayısı trafik ortamında dün geçtikçe artan bir orana sahip olacaktır. Geçiş dönemini simule etmek için trafik ortamına insan sürücüleri de dahil etmek gerekir. Çünkü trafikte beklenmeyen davranışları insan sürücüler sergilemektedir. Bazıları trafik kurallarına harfiyen uyar, bazıları uymak istemelerine ragmen sürücülük yetenekleri zayıf olduğu için uyamazlar ve bazıları da uymak istemeyebilir. Bu nedenle insan davranışlarının modellenmesi ve benzetim ortamına alınması büyük önem arzetmektedir. Bu çalışmada, otonom ve manual araçların aynı trafikte olduğu bir benzetim üzerine durulmuştur. Geliştirilen yazılım platformu farklı oranlarda manual ve otonom araçların aynı şehir trafiğinde benzetilmesini sağlamaktadır. Manual kullanılan araçlar, agresif sürücü, dikkatli sürücü ve gecikmeli sürücü olmak üzere üç farklı grupta ele alınmıştır.Tüm araçlar trafikte kendi karalarını verebilmesi ve tahmin edilemeyen davranışalara sahip olabilmeleri için birer yazılım vekili olarak tanımlanmıştır. Vekil yaklaşımıyla, tüm araçlar kendi rotalarını hesaplayabilir, kendi tercihlerini yapabilir ve rotalarını takip edebilirler. Her vekilin kendine özgü hız limiti, ortalama hızı ve sürücü kabiliyeti gibi özellikleri vardır. Benzetim ortamı oluşturulmak için ağırlıklı olarak Java programlama dili kullanılmıştır. Eclipse yardımıyla Java kodu geliştirilip farklı ortamalarla beraber çalışması sağlanmıştır. Şehir haritası oluşturmak için MATLAB ortamı kullanılmış ve Java yazılımıyla control edilmiştir. Özellikle haritanın MATLAB’te oluşturulmasının sebebi araçların rotalanması ve bu rotaların optimize edilmesi konusunda MATLAB’in güçlü bir ortam olduğu içindir. MATLAB’ın farklı fonksiyonları kullanılarak farklı boyutlarda yapay şehir haritaları oluşturulmuş, karmaşıklığı ise simule edilmek istene duruma göre değiştirilmiştir. İlk testlerin yapılması için küçük haritalar kullanılmıştır. Haritanın üzerinde araçların tanımlayabilmek ve ilk davranışlarını test etmek için yaklaşık 25 aracın rahat hareket edebileceği test haritaları kullanılmış, araçlar programlandıktan sonra ise harita kademeli olarak büyütülmüştür. Harita üzerinde otonom ve manuel olmak üzere iki temel araç tipi oluşturulmuştur. Her bir araç bir özerk vekil olarak tanımlanmış ve trafikteki normal birer sürücü gibi davranmaları için programlanmışlardır. Otonom araçların karakteristikleri birbirinin aynısıdır, ancak manuel sürücüler; agresif sürücüler, dikkatli sürücüler ve zayıf tepkili sürücüler olmak üzere üç temel gruba ayrılmıştır. Akıllı vekiller (araçlar) JADE platformunda oluşturulmuş ve hepsine yol takip davranışları, hız profilleri ve tepki süreleri gibi sürücü davranışları kazandırılmıştır. Bu sürücü davranışları belli toleranslar içinde değişkenlik gösterebilmektedir. Örneğin, agresif sürücüler dikkatli sürücülere nazaran daha yüksek hız profillerine sahiptir ve kendi içlerinde de bir miktar değişiklik gösterebilir. Bu değişiklikler tamamen rastlantısal olarak oluşturulmaktadır. JADE ortamında programlanan tüm araçlar, verdikleri kararları, aldıkları yol durumlarını, seçtikleri hızları v bu gibi sürücü davranışlarını MySQL veri tabanına kaydetmişlerdir. Bu kayıtlar üzerinden sorgular oluşturularak trafikteki durum analiz edilmeye çalışılmıştır. Bulunan sonuçlar detaylı bir şekilde incelenmiş ve sonuç olarak, otonom araçların sayısı arttıkça trafikteki seyirleri daha rahat, hızlı ve güvenli hale gelmiştir ve trafik sıkışıklığından kaynaklanan gecikmeler azalmıştır.In modern urban life, automobile traffic and collisions lead to endless frustration as well as significant loss of life, time, and productivity. Recent advances in artificial intelligence suggest that autonomous vehicles may soon be a reality. There are many studies on intelligent transportation systems including autonomous vehicles, intelligent routing, and intelligent road infrastructure. These approaches alleviate many traditional problems associated with human inattention, in terms of both safety and efficiency. However, all these systems rely on all vehicles being equipped with the same technology and all of them are autonomous vehicles. Implementing such systems in the real world is extremely difficult, there would be a transition period and this period may be a chaotic or well organized. To observe that intelligent transportation systems would help to solve traffic congestion or improve safely travelling, this transition period must be analyzed. In this study, we dwell on a simulation to allow autonomous vehicles and manually driven vehicles in same traffic environment. The developed software platform is able to simulate urban traffic with different proportions of autonomous vehicles over manually driven vehicles. Also manually driven vehicles are considered as three main groups, aggressive drivers, cautious drivers and delayed drivers. All vehicles are defined as software agents, to gain decision-making capabilities and unpredictable behaviors in traffic. All vehicles calculate their own routes, make their own chooses and follow their own paths with the help of multi agent approach. An agent has specific properties according to limitations like its average velocity and driver skill level. The work is fully implemented and tested in developed custom simulator, and we present detailed experimental results attesting to its effectiveness. Furthermore, we show that as the number of autonomous vehicles on the road increases, they travel in traffic more comfortable, faster, safer and delays caused by traffic jam decrease monotonically.Yüksek LisansM.Sc

Dynamic routing optimization using traffic prediction

In this dissertation, a new efficient routing maintenance algorithm, called Predicting of Future Load-based Routing (PFLR), is introduced for optimizing the routing performance in IP-based networks. The main idea of PFLR algorithm is combing the predicted link load with the current link load with an effective method to optimize the link weights and so reduce the network congestions. Another research objective is introducing a new efficient Traffic Engineering (TE) algorithm, called Prediction-based Decentralized Routing (PDR) algorithm, which is fully decentralized and self-organized approach