Characterizing and evaluating autonomous controllers

Premio Extraordinario de Doctorado de la UAH en el año académico 2016-2017La autonomía en robótica por medio de técnicas de Inteligencia Artificial, particularmente mediante el empleo sistemas de Planning & Scheduling (P&S), presenta un amplio campo de investigación con gran interés en aplicaciones como la robótica de exploración para entornos hostiles o difícilmente accesibles para los humanos. Sin embargo, las pruebas experimentales realizadas en los artículos de divulgación científica sobre controladores autónomos generalmente no están correctamente realizadas, ya que se carece de una metodología de estudio común. En este sentido se hace complicado comparar los nuevos sistemas con los trabajos previos, práctica habitual en otras disciplinas. Por ello, en esta tesis se propone un entorno de trabajo llamado On-Ground Autonomy Test Environment (OGATE) para permitir la evaluación de controladores autónomos. Este desarrollo consta de una metodología para estructurar la fase experimental, así como de un conjunto de métricas independientes tanto del dominio como del campo de aplicación del sistema robótico. La unión de estos elementos, mediante un software que automatiza el proceso experimental, permite obtener evaluaciones reproducibles y objetivas sobre los controladores autónomos bajo estudio. Para demostrar la efectividad del entorno de trabajo, se han utilizado dos controladores autónomos basados en diferentes paradigmas para P&S. Primero se ha utilizado el Goal Oriented Autonomous Controller (GOAC), desarrollado bajo contrato de la Agencia Espacial Europea. Segundo, durante esta tesis se ha implementado la Model-Based Architecture (MoBAr). MoBAr está diseñado con el objetivo de probar diferentes planificadores basados en el Planning Domain Definition Language (PDDL) para conseguir autonomía a bordo. En este sentido, en la tesis también se introduce un nuevo planificador llamado Unified Path Planning and Task Planning Architecture (UP2TA). Dicho sistema integra un planificador general basado en PDDL y algoritmos de planificación de rutas con el objetivo de generar planes más seguros y eficientes para robots de exploración. Referente a la planificación de rutas, en la tesis se incluye la definición de dos nuevos algoritmos enfocados en la movilidad de los robots de exploración: S-Theta* y 3D Accurate Navigation Algorithm (3Dana). S-Theta* permite obtener rutas con un menor número de cambios de dirección que algoritmos previos, mientras que 3Dana genera rutas más seguras y restringidas en función de la pendiente del entorno, empleando para ello Modelos Digitales de Terreno (MDT) y mapas de costes trasversales. Partiendo de GOAC y MoBAr, se ha empleado OGATE para evaluar ambos controladores, siendo posible caracterizar aspectos relevantes de la integración entre Planning & Execution (P&E) difícilmente accesibles mediante otros enfoques. Además, los resultados obtenidos son objetivos y reproducibles, permitiendo realizar comparaciones entre controladores autónomos con diferentes tecnologías y/o paradigmas de P&S

Discovering and Utilising Expert Knowledge from Security Event Logs

Security assessment and configuration is a methodology of protecting computer systems from malicious entities. It is a continuous process and heavily dependent on human experts, which are widely attributed to being in short supply. This can result in a system being left insecure because of the lack of easily accessible experience and specialist resources. While performing security tasks, human experts often revert to a system's event logs to determine status of security, such as failures, configuration modifications, system operations etc. However, finding and exploiting knowledge from event logs is a challenging and time-consuming task for non-experts. Hence, there is a strong need to provide mechanisms to make the process easier for security experts, as well as providing tools for those with significantly less security expertise. Doing so automatically allows for persistent and methodical testing without an excessive amount of manual time and effort, and makes computer security more accessible to on-experts. In this thesis, we present a novel technique to process security event logs of a system that have been evaluated and configured by a security expert, extract key domain knowledge indicative of human decision making, and automatically apply acquired knowledge to previously unseen systems by non-experts to recommend security improvements. The proposed solution utilises association and causal rule mining techniques to automatically discover relationships in the event log entries. The relationships are in the form of cause and effect rules that define security-related patterns. These rules and other relevant information are encoded into a PDDL-based domain action model. The domain model and problem instance generated from any vulnerable system can then be used to produce a plan-of-action by employing a state-of-the-art automated planning algorithm. The plan can be exploited by non-professionals to identify the security issues and make improvements. Empirical analysis is subsequently performed on 21 live, real world event log datasets, where the acquired domain model and identified plans are closely examined. The solution's accuracy lies between 73% - 92% and gained a significant performance boost as compared to the manual approach of identifying event relationships. The research presented in this thesis is an automation of extracting knowledge from event data steams. The previous research and current industry practices suggest that this knowledge elicitation is performed by human experts. As evident from the empirical analysis, we present a promising line of work that has the capacity to be utilised in commercial settings. This would reduce (or even eliminate) the dire and immediate need for human resources along with contributing towards financial savings