Mención Internacional en el título de doctorSequential planning portfolios are very powerful in exploiting the complementary
strength of different automated planners: for each planning task
there are one or more base planners that obtain the best solution. Therefore,
the main challenge when building a planning portfolio is to ensure that
a suitable planner be chosen and that it gets enough planning time. To solve
this problem we need firstly to define three elements. The first is the settings
or planning conditions: time, memory, or other constraints. The second one
is the set of base planners. And finally, a benchmark that provides us with
knowledge on how the base planners will behave under the given settings,
following some kind of inductive process. Ideally, if the previous elements
are correctly defined, when a new planning task arrives, an oracle will be
able to tell which base planner to run and for how long. In practice, since
no oracle exists, the challenge to choose a sub-set of base planners, is assigning
them a running time and deciding the order in which they are run
to optimize a planning metric under the predefined settings. Many state-of-the-
art portfolios might never achieve an optimal performance because they
do not select different planners for the different planning tasks. In addition,
these static techniques typically assign a fixed running time to the selected
set of planners, independently of the task. besides, the old-fashioned dynamic
portfolios present a poor characterization of the planning task and
do not have enough knowledge to predict an accurate portfolio configuration
in many cases. The aforementioned drawbacks are intensified by the
fact that there is an increasing number of planners available to choose from,
although many of them are designed following similar approaches, so they
are expected to behave similarly.
This dissertation is built on two main hypotheses. Firstly that the space
of the base planners can be reduced just by selecting a subset of diverse or
complementary planners; e.g. that there is a minimal set of planners that
ensure that the optimal portfolio can be computed. Secondly, that planning
tasks can be characterized, and that the difficulty in solving them can be
modelled as a function of these features. To evaluate the first hypothesis,
we analyze different metrics that could be used to filter the initial set of base
planners. Classical metrics such as coverage, quality or execution time have
been chosen by different portfolios in the past. We demonstrate that these
selection methods may reduce the diversity of the portfolios, and propose
an alternative method based on the Pareto dominance. We then carry out
a profound analysis on previous planning task characterizations and show how we could exploit them in current planning paradigms.
A group of very informative features are proposed to improve the current feature definition of the planning tasks. These features have enough knowledge to differentiate
planning tasks with similar \a priori" complexity. In this thesis we
demonstrate that the implicit knowledge can be exploited in the construction
of predictive models. These models estimate whether a base planner
will be able to solve a given problem and, if so, how long it will take. Nevertheless,
the predictive models are not perfect and sometimes provide wrong
(or inaccurate) predictions. To solve this kind of problems, we propose different
portfolio strategies to combine the number of selected base planners
and their times. These strategies take into account the predefined settings
and the knowledge learned in previous phases.
In conclusion, this thesis sets out a profound analysis of three different
mechanisms or steps to create planning portfolios with predictive models,
including new proposals for developing: planner filtering, planning task
featuring, learning predictive models and portfolio construction strategies.
One of the proposed portfolios was the winner of the Sequential Satisficing
Track of the International Planning Competition held in 2014Los portfolios de planificadores tienen un gran potencial ya que pueden
aprovecharse de los diferentes planificadores automáticos, consiguiendo mejorar
el rendimiento de un único planificador. Sin embargo, la creación de un
portfolio no es una tarea sencilla, ya que para poder crear uno lo suficientemente
bueno, hay que tratar tres problemas fundamentales. El primero de
ellos es encontrar qué planificadores hay que seleccionar como componentes
del mismo. La segunda es el tiempo que hay que asignar a cada planificador
y, la última y no menos importante el orden en el que se tienen que ejecutar.
Actualmente en el estado del arte, estas configuraciones, se realizan a
partir de los resultados obtenidos por los planificadores en una fase previa
de entrenamiento con un conjunto de problemas y restricciones prefijado
(tiempo, memoria, etc), consiguiendo una configuración específica tratando
de optimizar una métrica. Idealmente, la mejor configuración posible consiste
en asignar el tiempo suficiente al mejor planificador para cada tarea
de planificación. Sin embargo, esta configuración no siempre es posible, y
hay que recurrir a otras aproximaciones como asignar un tiempo fijo a una
selección de planificadores. Ésta no es la única simplificación utilizada, existen
otras técnicas más cercanas a la óptima, en las cuales se selecciona un
planificador o varios en función de la tarea a resolver. Sin embargo, estos
sistemas, denominados dinámicos, incluyen una escasa caracterización de
las tareas de planificación.
En esta tesis se parte de dos hipótesis. La primera de ellas es que existe un
conjunto reducido de planificadores que maximiza la diversidad. La segunda
de ellas consiste en la posibilidad de crear un conjunto de descriptivos lo
suficientemente bueno para caracterizar la tarea de planificación. La caracterización de las tareas de planificación puede estar basada en sus distintas
representaciones, así como en sus paradigmas. La primera tarea es seleccionar
un conjunto de planificadores; realizando un análisis basado en las
métricas clásicas de planificación, como son problemas resueltos, calidad
y tiempo para seleccionar un subconjunto de planificadores. Adicionalmente,
proponemos como alternativa a estas métricas, una técnica multiobjetivo.
Este criterio está basado en la dominancia de Pareto combinando
las métricas de tiempo y calidad. Continuando con nuestras hip_otesis es
necesario crear un conjunto de características bien informado para la tarea
de planificación. Estas características deben ser capaces de diferenciar adecuadamente
por problema y para ello sería necesario basarse en los distintos
paradigmas de la planificación automática. Este grupo de características
tienen que ser úutiles para crear modelos predictivos. Estos modelos podrán
darnos además de una selección de planificadores, una aproximación del
tiempo asignado a cada componente y el orden de los mismos. Adicionalmente
se presentarán una serie de estrategias para explotar el conocimiento
obtenido con los modelos predictivos.
En conclusión, se plantea y desarrolla un sistema para configurar porfolios
de planificadores usando modelos predictivos en tres fases distintas. Una
instanciación de este sistema fue el ganador de la competición internacional
de planificación en el áarea de satisfacibilidad en el año 2014.Programa Oficial de Doctorado en Ciencia y Tecnología InformáticaPresidente: María Araceli Sanchís de Miguel.- Secretario: Álvaro Torralba Arias de Reyna.- Vocal: Alessandro Saett
