Bayesian Optimization with Unknown Constraints

Recent work on Bayesian optimization has shown its effectiveness in global optimization of difficult black-box objective functions. Many real-world optimization problems of interest also have constraints which are unknown a priori. In this paper, we study Bayesian optimization for constrained problems in the general case that noise may be present in the constraint functions, and the objective and constraints may be evaluated independently. We provide motivating practical examples, and present a general framework to solve such problems. We demonstrate the effectiveness of our approach on optimizing the performance of online latent Dirichlet allocation subject to topic sparsity constraints, tuning a neural network given test-time memory constraints, and optimizing Hamiltonian Monte Carlo to achieve maximal effectiveness in a fixed time, subject to passing standard convergence diagnostics.Comment: 14 pages, 3 figure

Predictive Entropy Search for Bayesian optimization with unknown constraints

Unknown constraints arise in many types of expensive black-box optimization problems. Several methods have been proposed recently for performing Bayesian optimization with constraints, based on the expected improvement (EI) heuristic. However, EI can lead to pathologies when used with constraints. For example, in the case of decoupled constraints---i.e., when one can independently evaluate the objective or the constraints---EI can encounter a pathology that prevents exploration. Additionally, computing EI requires a current best solution, which may not exist if none of the data collected so far satisfy the constraints. By contrast, information-based approaches do not suffer from these failure modes. In this paper, we present a new information-based method called Predictive Entropy Search with Constraints (PESC). We analyze the performance of PESC and show that it compares favorably to EI-based approaches on synthetic and benchmark problems, as well as several real-world examples. We demonstrate that PESC is an effective algorithm that provides a promising direction towards a unified solution for constrained Bayesian optimization.José Miguel Hernández-Lobato acknowledges support from the Rafael del Pino Foundation. Zoubin Ghahramani acknowledges support from Google Focused Research Award and EPSRC grant EP/I036575/1. Matthew W. Hoffman acknowledges support from EPSRC grant EP/J012300/1.This is the final published version. It first appeared at http://jmlr.org/proceedings/papers/v37/hernandez-lobatob15.html

Max-value entropy search for multi-objective bayesian optimization with unknown constraints

Máster Universitario en Investigación e Innovación en Inteligencia Computacional y Sistemas InteractivosExiste una gran cantidad de problemas donde el objetivo es mejorar varias cualidades de un sistema o producto. Sin embargo, no se dispone de la expresión analítica de la función objetivo que define los valores de esas cualidades, lo que dificulta su optimización ya que es difícil calcular su gradiente. Además, muchas veces evaluar nuevas configuraciones de parámetros iniciales es una tarea muy costosa que requiere de bastante tiempo. Asimismo, los valores obtenidos de cada configuración, en las funciones objetivo, suelen estar contaminados por ruido, dado que no es posible medir con suficiente precisión o hay defectos en la fabricación. Por otro lado, también es posible que se deban cumplir ciertas restricciones. Por ejemplo, se podría intentar maximizar la velocidad de un robot al mismo tiempo que se quiere minimizar su consumo y no romper ninguna de sus articulaciones. Se puede ver que la velocidad y el consumo energético son dos objetivos conflictivos, dado que mejorar en uno implica empeorar en el otro. También es posible percatarse de que el peso y la composición de los materiales del robot influirán en el cumplimiento de las restricciones, dado que si se rompe una articulación los valores obtenidos por esa configuración serán inválidos. Por otro lado, se debe observar que construir nuevos robots es una tarea muy costosa, así que lo ideal sería reducir su cantidad. Se puede apreciar que, cuando hay varios objetivos implicados no suele existir una única solución al problema, sino que hay un conjunto de soluciones que son las mejores en el balance que consiguen de los objetivos. En el ejemplo del robot, una solución sería el robot más rápido pero que más consume y otro el más lento pero que menos energía necesita. Para resolver este tipo de problemas con múltiples objetivos sujetos a varias restricciones desconocidas, donde no se dispone de la expresión analítica para ninguno de ellos, se puede utilizar optimización Bayesiana. La optimización Bayesiana cuenta con dos piezas clave para resolver estos problemas. Por un lado un modelo probabilístico de las funciones objetivo y restricciones, y por otro una función de adquisición, que se encarga de evaluar la utilidad de realizar nuevas evaluaciones. En este trabajo se desarrolla la función de adquisición MESMOC, capaz de afrontar estos problemas multi-objetivo con varias restricciones. Esta función de adquisición reduce la entropía del óptimo valor asociado a la solución del problema a fin de obtener con el menor número de evaluaciones una potencial solución al problema. Con la finalidad de ver el desempeño de MESMOC, se han realizado dos experimentos tanto con datos sintéticos como con reales, en los que se ha comparado el método desarrollado con otros del estado del arte como PESMOC. En estos experimentos se ha visto que MESMOC es competitivo con estos métodos, pero es más rápida de evalua

Safe Controller Optimization for Quadrotors with Gaussian Processes

One of the most fundamental problems when designing controllers for dynamic systems is the tuning of the controller parameters. Typically, a model of the system is used to obtain an initial controller, but ultimately the controller parameters must be tuned manually on the real system to achieve the best performance. To avoid this manual tuning step, methods from machine learning, such as Bayesian optimization, have been used. However, as these methods evaluate different controller parameters on the real system, safety-critical system failures may happen. In this paper, we overcome this problem by applying, for the first time, a recently developed safe optimization algorithm, SafeOpt, to the problem of automatic controller parameter tuning. Given an initial, low-performance controller, SafeOpt automatically optimizes the parameters of a control law while guaranteeing safety. It models the underlying performance measure as a Gaussian process and only explores new controller parameters whose performance lies above a safe performance threshold with high probability. Experimental results on a quadrotor vehicle indicate that the proposed method enables fast, automatic, and safe optimization of controller parameters without human intervention.Comment: IEEE International Conference on Robotics and Automation, 2016. 6 pages, 4 figures. A video of the experiments can be found at http://tiny.cc/icra16_video . A Python implementation of the algorithm is available at https://github.com/befelix/SafeOp