ASPIRE Adaptive strategy prediction in a RTS environment

When playing a Real Time Strategy(RTS) game against the non-human player(bot) it is important that the bot can do different strategies to create a challenging experience over time. In this thesis we aim to improve the way the bot can predict what strategies the player is doing by analyzing the replays of the given players games. This way the bot can change its strategy based upon the known knowledge of the game state and what strategies the player have used before. We constructed a Bayesian Network to handle the predictions of the opponent's strategy and inserted that into a preexisting bot. Based on the results from our experiments we can state that the Bayesian Network adapted to the strategies our bot was exposed to. In addition we can see that the Bayesian Network only predicted the possible strategies given the obtained information about the game state.INFO390MASV-INF

Determining Solution Space Characteristics for Real-Time Strategy Games and Characterizing Winning Strategies

The underlying goal of a competing agent in a discrete real-time strategy (RTS) game is to defeat an adversary. Strategic agents or participants must define an a priori plan to maneuver their resources in order to destroy the adversary and the adversary\u27s resources as well as secure physical regions of the environment. This a priori plan can be generated by leveraging collected historical knowledge about the environment. This knowledge is then employed in the generation of a classification model for real-time decision-making in the RTS domain. The best way to generate a classification model for a complex problem domain depends on the characteristics of the solution space. An experimental method to determine solution space (search landscape) characteristics is through analysis of historical algorithm performance for solving the specific problem. We select a deterministic search technique and a stochastic search method for a priori classification model generation. These approaches are designed, implemented, and tested for a specific complex RTS game, Bos Wars. Their performance allows us to draw various conclusions about applying a competing agent in complex search landscapes associated with RTS games

Tactical AI in Real Time Strategy Games

The real time strategy (RTS) tactical decision making problem is a difficult problem. It is generally more complex due to its high degree of time sensitivity. This research effort presents a novel approach to this problem within an educational, teaching objective. Particular decision focus is target selection for a artificial intelligence (AI) RTS game model. The use of multi-objective evolutionary algorithms (MOEAs) in this tactical decision making problem allows an AI agent to make fast, effective solutions that do not require modification to the current environment. This approach allows for the creation of a generic solution building tool that is capable of performing well against scripted opponents without requiring expert training or deep tree searches. The experimental results validate that MOEAs can control an on-line agent capable of out performing a variety AI RTS opponent test scripts

New computational techniques for detecting, learning and managing criteria in design problems

Los problemas de diseño suelen involucrar la consideración de criterios de diferente naturaleza, incluyendo necesidades técnicas, económicas, sociales y medioambientales, entre otras. Las herramientas CAD tradicionales ayudan a los diseñadores en la representación, modificación, análisis, documentación y evaluación de sus diseños. Sin embargo, los ordenadores pueden cumplir un papel más complejo: el del diseño computacional, consistente en la síntesis de nuevas soluciones de diseño. Esta tesis se ha enfocado en este rol no trivial, siendo su objetivo general el desarrollo de nuevas técnicas de diseño computacional capaces de considerar criterios de diseño. Algunos aspectos del proceso de diseño pueden entenderse como una búsqueda o exploración en un espacio de alternativas de diseño. Esta perspectiva facilita la explotación de técnicas computacionales para implementar métodos que sinteticen soluciones de acuerdo al propósito de un problema de diseño dado. Para el desarrollo de metodologías de diseño computacional, es necesario un sistema generativo capaz de representar y generar el espacio de diseño. En esta tesis hemos considerado el formalismo de las gramáticas de formas dado su uso intensivo en la literatura de diseño computacional y dada también su versatilidad. El enfoque tradicional a la hora de usar gramáticas de formas consiste en codificar el conjunto completo de criterios de diseño en las mismas reglas, dando lugar a gramáticas expertas que son difíciles de crear, modificar y mantener. Este tipo de gramáticas también promueve soluciones previsibles, dado que las reglas han sido creadas con el conocimiento previo de los requisitos que las formas han de cumplir. En esta tesis hemos considerado otra alternativa, que consiste en reducir o minimizar el número de criterios codificados en las reglas. Así, tratamos con gramáticas más ingenuas que no pueden producir soluciones factibles y necesitan de un mecanismo de control que guíe la derivación hacia buenos diseños. Concretamente, hemos utilizado algoritmos de búsqueda y métodos de aprendizaje por refuerzo para llevar a cabo dicho control. Las principales conclusiones de esta tesis pueden ser resumidas como sigue: 1. Se ha propuesto un esquema de clasificación para posibles enfoques al diseño computacional basados en gramáticas de formas. Concretamente, consideramos dos aspectos: el primero considera la cantidad de criterios de diseño codificados en las reglas, siendo las gramáticas puramente expertas aquellas en las que la totalidad de los criterios han sido codificados de esta manera. Cuantos menos criterios sean codificados en las reglas, más ingenua puede ser considerada la gramática. El segundo considera la complejidad del método de control empleado, desde sistemas que carecen de dicho sistema de control hasta sistemas que emplean mecanismos complejos. 2. Se ha desarrollado una metodología de diseño computacional basada en gramáticas de formas expertas y un mecanismo de control complejo. Dicha metodología está basada en la idea de codificar algunos requisitos de diseño en las reglas y utilizar el resto de manera explícita para evaluar las formas producidas a lo largo del proceso de generación, guiando dicho proceso hacia buenos diseños. Las gramáticas de formas involucradas son por tanto menos expertas que en el enfoque tradicional. En esta configuración distinguimos entre criterios que se especifican mejor geométricamente (dentro de las reglas) y criterios que se expresan mejor como predicados lógicos (restricciones y objetivos usados en un algoritmo de búsqueda). 3. Se ha desarrollado una herramienta software (ShaDe) para editar y ejecutar gramáticas de formas con capas, restricciones y objetivos. 4. Se ha desarrollado una metodología de diseño computacional basada en gramáticas de formas ingenuas y un mecanismo de control complejo. En esta metodología se usa el conjunto completo de criterios de diseño como recompensas en un proceso de aprendizaje por refuerzo, con el objetivo de aprender un heurístico que determine cómo aplicar las reglas del sistema generativo. Se han presentado dos alternativas para aprender las políticas de aplicación de reglas, dependiendo de la manera de tratar la naturaleza multi-objetivo del diseño. En la primera, las recompensas son escalarizadas. La segunda alternativa no escalariza las recompensas; han de aprenderse múltiples políticas que pueden ser utilizadas para producir un conjunto de soluciones óptimas. 5. Se ha propuesto un nuevo algoritmo de aprendizaje por refuerzo multiobjetivo (PQ-learning). En el contexto de la metodología en la que no se escalarizan las recompensas, hemos propuesto una nueva técnica de aprendizaje por refuerzo, basada en una extensión directa del algoritmo Q-learning, que trabaja con recompensas vectoriales. Este nuevo método ha sido probado en dos problemas pertenecientes a un benchmark de aprendizaje por refuerzo multi-objetivo. 6. Las metodologías desarrolladas han sido puestas en práctica en diferentes escenarios relacionados con la arquitectura. 7. Se han llevado a cabo dos estudios empíricos con estudiantes de arquitectura. Particularmente, fueron asociados con las metodologías correspondientes a gramáticas de formas ingenuas con y sin control, para estudiar diversos aspectos como la reacción de los alumnos y la viabilidad de los sistemas propuestos. A continuación detallamos los aspectos de esta tesis que merecen una investigación más profunda: -La extensión de las metodologías propuestas a tipos más complejos de gramáticas de formas, tales como gramáticas tridimensionales o incluso paramétricas. -Los casos de aplicación que involucran gramáticas ingenuas y aprendizaje por refuerzo escalarizado se basan en una división en fases del problema de diseño considerado. Esta división reduce el conjunto de criterios que han de tenerse en cuenta en cada paso. Sin embargo, también introduce una limitación importante que puede afectarnos en el caso de problemas de diseño más complejos: el proceso de aprendizaje sólo trata con los criterios locales de cada fase, y por tanto las políticas no pueden reflejar aspectos globales. Una posibilidad para afrontar dicho problema es la integración con técnicas más potentes como la generalización no lineal ofrecida por las redes neuronales. -Hemos mostrado cómo la metodología basada en gramáticas ingenuas y PQ-learning puede ser utilizada para abordar problemas geométricos, pero es necesaria más investigación para aplicar dicha metodología en escenarios reales. Creemos que esto puede conseguirse por medio de la integración de PQ-learning con técnicas de generalización. -Finalmente, la aplicación de las metodologías propuestas a otros ámbitos de diseño es también una línea importante de investigación