5 research outputs found
Improving the Flexibility and Robustness of Model-Based Derivative-Free Optimization Solvers
We present DFO-LS, a software package for derivative-free optimization (DFO)
for nonlinear Least-Squares (LS) problems, with optional bound constraints.
Inspired by the Gauss-Newton method, DFO-LS constructs simplified linear
regression models for the residuals. DFO-LS allows flexible initialization for
expensive problems, whereby it can begin making progress from as few as two
objective evaluations. Numerical results show DFO-LS can gain reasonable
progress on some medium-scale problems with fewer objective evaluations than is
needed for one gradient evaluation. DFO-LS has improved robustness to noise,
allowing sample averaging, the construction of regression-based models, and
multiple restart strategies together with an auto-detection mechanism. Our
extensive numerical experimentation shows that restarting the solver when
stagnation is detected is a cheap and effective mechanism for achieving
robustness, with superior performance over both sampling and regression
techniques. We also present our package Py-BOBYQA, a Python implementation of
BOBYQA (Powell, 2009), which also implements robustness to noise strategies.
Our numerical experiments show that Py-BOBYQA is comparable to or better than
existing general DFO solvers for noisy problems. In our comparisons, we
introduce a new adaptive measure of accuracy for the data profiles of noisy
functions that strikes a balance between measuring the true and the noisy
objective improvement.Comment: Minor edits to wordin
Uma abordagem baseada em procura directa direccional a problemas com ruído
Em aplicações a nível industrial, principalmente em engenharia, é frequente ser-se
confrontado com problemas de optimização desafiadores onde, em particular, a avaliação
da função objectivo pode estar contaminada com ruído numérico. A presença deste ruído
inviabiliza a utilização de métodos de optimização baseados em derivadas.
A procura directa direccional (PDD) é um dos métodos que não recorre a derivadas.
Nesta dissertação procurou-se avaliar o seu desempenho numérico na optimização de
funções sujeitas a ruído, propondo eventuais adaptações que a tornassem mais eficiente/
eficaz.
Foi feito um estudo numérico do seu desempenho considerando três tipos (baseado
em polinómios de Chebyshev, Normal e Uniforme) e três níveis (5%, 10% e 20%) de ruído.
Concluiu-se a necessidade da adaptação da PDD quando a inicialização considerada está
longe do ponto óptimo, sobretudo na presença de níveis elevados de ruído, ou de ruído
com oscilações mais irregulares (como é o caso do ruído Normal).
Adoptaram-se então abordagens não monótonas, onde se procura melhorar o valor da
função objectivo não entre iterações consecutivas, mas ao longo de um histórico de iterações,
permitindo escapar a mínimos locais espúrios, resultantes da presença do ruído.
Foram propostas duas variantes de PDD baseadas em abordagens não monótonas,
analisadas as suas propriedades teóricas de convergência e o seu desempenho numérico.
Estabeleceu-se a vantagem da utilização destes algoritmos, por comparação com algoritmos
monótonos de PDD, para orçamentos computacionais moderados.
Analisou-se ainda as eventuais mais valias da implementação de uma ‘cache’. Em problemas
onde o ruído é estocástico, esta mostrou-se dispensável. No caso de ruído baseado
em polinómios de Chebyshev, dada a natureza determinística do ruído, o uso de uma
‘cache’ pode trazer algumas mais valias