Parameter-Free FISTA by Adaptive Restart and Backtracking

We consider a combined restarting and adaptive backtracking strategy for the popular Fast Iterative Shrinking-Thresholding Algorithm frequently employed for accelerating the convergence speed of large-scale structured convex optimization problems. Several variants of FISTA enjoy a provable linear convergence rate for the function values $F(x_n)$ of the form $\mathcal{O}( e^{-K\sqrt{\mu/L}~n})$ under the prior knowledge of problem conditioning, i.e. of the ratio between the (\L ojasiewicz) parameter $\mu$ determining the growth of the objective function and the Lipschitz constant $L$ of its smooth component. These parameters are nonetheless hard to estimate in many practical cases. Recent works address the problem by estimating either parameter via suitable adaptive strategies. In our work both parameters can be estimated at the same time by means of an algorithmic restarting scheme where, at each restart, a non-monotone estimation of $L$ is performed. For this scheme, theoretical convergence results are proved, showing that a $\mathcal{O}( e^{-K\sqrt{\mu/L}n})$ convergence speed can still be achieved along with quantitative estimates of the conditioning. The resulting Free-FISTA algorithm is therefore parameter-free. Several numerical results are reported to confirm the practical interest of its use in many exemplar problems

Étude de méthodes inertielles en optimisation et leur comportement sous conditions de géométrie

This thesis manuscript is devoted to the optimization of composite convex functions in a deterministic framework. In this context, I have focused on the convergence analysis of optimization algorithms under growth assumptions.When it comes to minimizing such functions, the most efficient first-order methods are said to be inertial, since they introduce a notion of momentum. While the introduction of this inertia is generally beneficial, it is necessary to parameterize this type of method properly to obtain a solution quickly and avoid pathological behavior. For example, some so-called Heavy-Ball methods require knowledge of the condition number of the function to be minimized in order to be used.The question this thesis seeks to answer is: which method should be applied given the geometric assumptions verified by $F$? Since the methods studied are inertial, we can rephrase this problem as follows: how can inertia be controlled when $F$ verifies a growth hypothesis that is stronger than convexity? Several strategies are proposed, based on algorithmic procedures or on the link existing between numerical schemes and dynamical systems.The first part is devoted to restart methods. The work presented here stems from the following observation: when the function to be minimized satisfies a growth hypothesis (e.g. strong convexity), the fastest methods must be calibrated according to the growth parameter (or, equivalently, according to the condition), which can be difficult to estimate. Restart strategies aim to answer the question: how can we take advantage of the growth assumptions of a function when the growth parameter is not known? Two FISTA restart schemes are introduced that ensure a fast exponential decay of the error without requiring the knowledge of some geometry parameters.Secondly, we study an alternative approach to controlling inertia and attenuating oscillatory behavior. This analysis concerns a dynamical system introduced by Attouch, Peypouquet and Redont, which is close to that proposed by Su, Boyd and Candès, and involves a friction term driven by the Hessian of $F$. The introduction of this friction term dampens trajectory oscillations, and first-order numerical schemes can be derived from this system. We focus on the convergence properties of the trajectories of this system when $F$ satisfies growth conditions. In this context, we show that the introduction of the Hessian term leads to integrability properties on the gradient of the function $F$ that become stronger and stronger as the growth assumptions are strengthened. Since the assumptions considered are related to the L{}ojasiewicsz inequality, these properties provide guarantees on error decay.The last part is devoted to the assumption of uniqueness of the minimizer in the convergence analysis of inertial methods. In the literature, the strongest convergence results for dynamical systems and numerical schemes when $F$ verifies a growth condition are based, with a few exceptions, on the assumption that $F$ has a unique minimiser. The questions raised in this chapter are: what is the reason for this assumption? Is it possible to obtain fast convergence results without it? We show that this assumption is mainly related to proof techniques and that it is not necessary to obtain fast convergence. In the continuous framework, a geometry assumption on $X^*$ is proposed to extend several known results. Finally, convergence results are given for V-FISTA and FISTA without the minimiser uniqueness assumption.Ce manuscrit de thèse est consacré à l'optimisation de fonctions convexes composites dans un cadre déterministe. Dans ce cadre, je me suis concentré sur l'analyse de convergence d'algorithmes d'optimisation sous des hypothèses de croissance.Lorsque l'on s'intéresse à la minimisation de telles fonctions, les méthodes de premier ordre les plus efficaces sont dites inertielles car elles font apparaître une notion d'élan. Si l'introduction de cette inertie est généralement bénéfique, il est nécessaire de bien paramétrer ce type de méthodes pour obtenir une solution rapidement et éviter des comportements pathologiques. Par exemple, certaines méthodes dites Heavy-Ball nécessitent de connaître la valeur du conditionnement de la fonction à minimiser pour être utilisées.La question à laquelle cherche à répondre cette thèse est : quelle méthode appliquer en fonction des hypothèses de géométrie vérifiées par $F$? Comme les méthodes étudiées sont inertielles, on peut reformuler cette problématique de la manière suivante : comment maîtriser l'inertie lorsque $F$ vérifie une hypothèse de croissance plus forte que la convexité? Plusieurs stratégies sont proposées, basées sur des procédés algorithmiques ou sur le parallèle entre schémas numériques et systèmes dynamiques.Une première partie est consacrée aux méthodes de restart. Les travaux qui y sont présentés font suite au constat suivant : lorsque la fonction à minimiser vérifie une hypothèse de croissance (forte convexité par exemple), les méthodes les plus rapides doivent être calibrées en fonction du paramètre de croissance (ou de manière équivalente en fonction du conditionnement) qui peut être difficile à estimer. Les stratégies de restart visent à répondre à la question : comment profiter des hypothèses de croissance d'une fonction lorsque le paramètre de croissance n'est pas connu? Je propose deux schémas de restart de FISTA permettant d'obtenir des garanties théoriques de convergence rapide en s'affranchissant de la connaissance de certains paramètres de géométrie.Dans un deuxième temps, on étudie un moyen alternatif permettant de maîtriser l'inertie et atténuer les comportements oscillatoires. Cette analyse porte sur un système dynamique introduit par Attouch, Peypouquet et Redont qui est proche de celui proposé par Su, Boyd et Candès et fait intervenir un terme de friction lié à la hessienne de $F$. L'introduction de ce terme de friction permet d'atténuer les oscillations des trajectoires et des schémas numériques de premier ordre peuvent être dérivés de ce système. On se concentre ici sur les propriétés de convergence des trajectoires de ce système lorsque $F$ vérifie des hypothèses de croissance. Dans ce contexte, on montre que l'introduction du terme lié à la hessienne permet d'obtenir des propriétés d'intégrabilité sur le gradient de la fonction $F$ qui sont de plus en plus fortes à mesure que les hypothèses de croissance sont renforcées. Comme les hypothèses considérées sont liées à l'inégalité de L{}ojasiewicsz, ces propriétés donnent des garanties sur la décroissance de l'erreur.La dernière partie est dédiée à l'hypothèse d'unicité du minimiseur dans l'analyse de convergence de méthodes inertielles. Dans la littérature, les résultats de convergence les plus forts pour des systèmes dynamiques et des schémas numériques lorsque $F$ vérifie une condition de croissance s'appuient, sauf exception, sur l'hypothèse que $F$ a un unique minimiseur. Les questions posées dans ce chapitre sont : à quoi est due cette hypothèse? Est-il possible d'obtenir des résultats de convergence rapide en s'en affranchissant? On montre que cette hypothèse est principalement liée aux techniques de preuves et qu'elle n'est pas nécessaire à l'obtention de vitesses rapides. Dans le cadre continu, une hypothèse de géométrie sur $X^*$ est proposée pour étendre plusieurs résultats connus. On donne enfin des résultats de convergence pour V-FISTA et FISTA sans hypothèse d'unicité du minimiseur

Étude de méthodes inertielles en optimisation et leur comportement sous conditions de géométrie

This thesis manuscript is devoted to the optimization of composite convex functions in a deterministic framework. In this context, I have focused on the convergence analysis of optimization algorithms under growth assumptions.When it comes to minimizing such functions, the most efficient first-order methods are said to be inertial, since they introduce a notion of momentum. While the introduction of this inertia is generally beneficial, it is necessary to parameterize this type of method properly to obtain a solution quickly and avoid pathological behavior. For example, some so-called Heavy-Ball methods require knowledge of the condition number of the function to be minimized in order to be used.The question this thesis seeks to answer is: which method should be applied given the geometric assumptions verified by $F$? Since the methods studied are inertial, we can rephrase this problem as follows: how can inertia be controlled when $F$ verifies a growth hypothesis that is stronger than convexity? Several strategies are proposed, based on algorithmic procedures or on the link existing between numerical schemes and dynamical systems.The first part is devoted to restart methods. The work presented here stems from the following observation: when the function to be minimized satisfies a growth hypothesis (e.g. strong convexity), the fastest methods must be calibrated according to the growth parameter (or, equivalently, according to the condition), which can be difficult to estimate. Restart strategies aim to answer the question: how can we take advantage of the growth assumptions of a function when the growth parameter is not known? Two FISTA restart schemes are introduced that ensure a fast exponential decay of the error without requiring the knowledge of some geometry parameters.Secondly, we study an alternative approach to controlling inertia and attenuating oscillatory behavior. This analysis concerns a dynamical system introduced by Attouch, Peypouquet and Redont, which is close to that proposed by Su, Boyd and Candès, and involves a friction term driven by the Hessian of $F$. The introduction of this friction term dampens trajectory oscillations, and first-order numerical schemes can be derived from this system. We focus on the convergence properties of the trajectories of this system when $F$ satisfies growth conditions. In this context, we show that the introduction of the Hessian term leads to integrability properties on the gradient of the function $F$ that become stronger and stronger as the growth assumptions are strengthened. Since the assumptions considered are related to the L{}ojasiewicsz inequality, these properties provide guarantees on error decay.The last part is devoted to the assumption of uniqueness of the minimizer in the convergence analysis of inertial methods. In the literature, the strongest convergence results for dynamical systems and numerical schemes when $F$ verifies a growth condition are based, with a few exceptions, on the assumption that $F$ has a unique minimiser. The questions raised in this chapter are: what is the reason for this assumption? Is it possible to obtain fast convergence results without it? We show that this assumption is mainly related to proof techniques and that it is not necessary to obtain fast convergence. In the continuous framework, a geometry assumption on $X^*$ is proposed to extend several known results. Finally, convergence results are given for V-FISTA and FISTA without the minimiser uniqueness assumption.Ce manuscrit de thèse est consacré à l'optimisation de fonctions convexes composites dans un cadre déterministe. Dans ce cadre, je me suis concentré sur l'analyse de convergence d'algorithmes d'optimisation sous des hypothèses de croissance.Lorsque l'on s'intéresse à la minimisation de telles fonctions, les méthodes de premier ordre les plus efficaces sont dites inertielles car elles font apparaître une notion d'élan. Si l'introduction de cette inertie est généralement bénéfique, il est nécessaire de bien paramétrer ce type de méthodes pour obtenir une solution rapidement et éviter des comportements pathologiques. Par exemple, certaines méthodes dites Heavy-Ball nécessitent de connaître la valeur du conditionnement de la fonction à minimiser pour être utilisées.La question à laquelle cherche à répondre cette thèse est : quelle méthode appliquer en fonction des hypothèses de géométrie vérifiées par $F$? Comme les méthodes étudiées sont inertielles, on peut reformuler cette problématique de la manière suivante : comment maîtriser l'inertie lorsque $F$ vérifie une hypothèse de croissance plus forte que la convexité? Plusieurs stratégies sont proposées, basées sur des procédés algorithmiques ou sur le parallèle entre schémas numériques et systèmes dynamiques.Une première partie est consacrée aux méthodes de restart. Les travaux qui y sont présentés font suite au constat suivant : lorsque la fonction à minimiser vérifie une hypothèse de croissance (forte convexité par exemple), les méthodes les plus rapides doivent être calibrées en fonction du paramètre de croissance (ou de manière équivalente en fonction du conditionnement) qui peut être difficile à estimer. Les stratégies de restart visent à répondre à la question : comment profiter des hypothèses de croissance d'une fonction lorsque le paramètre de croissance n'est pas connu? Je propose deux schémas de restart de FISTA permettant d'obtenir des garanties théoriques de convergence rapide en s'affranchissant de la connaissance de certains paramètres de géométrie.Dans un deuxième temps, on étudie un moyen alternatif permettant de maîtriser l'inertie et atténuer les comportements oscillatoires. Cette analyse porte sur un système dynamique introduit par Attouch, Peypouquet et Redont qui est proche de celui proposé par Su, Boyd et Candès et fait intervenir un terme de friction lié à la hessienne de $F$. L'introduction de ce terme de friction permet d'atténuer les oscillations des trajectoires et des schémas numériques de premier ordre peuvent être dérivés de ce système. On se concentre ici sur les propriétés de convergence des trajectoires de ce système lorsque $F$ vérifie des hypothèses de croissance. Dans ce contexte, on montre que l'introduction du terme lié à la hessienne permet d'obtenir des propriétés d'intégrabilité sur le gradient de la fonction $F$ qui sont de plus en plus fortes à mesure que les hypothèses de croissance sont renforcées. Comme les hypothèses considérées sont liées à l'inégalité de L{}ojasiewicsz, ces propriétés donnent des garanties sur la décroissance de l'erreur.La dernière partie est dédiée à l'hypothèse d'unicité du minimiseur dans l'analyse de convergence de méthodes inertielles. Dans la littérature, les résultats de convergence les plus forts pour des systèmes dynamiques et des schémas numériques lorsque $F$ vérifie une condition de croissance s'appuient, sauf exception, sur l'hypothèse que $F$ a un unique minimiseur. Les questions posées dans ce chapitre sont : à quoi est due cette hypothèse? Est-il possible d'obtenir des résultats de convergence rapide en s'en affranchissant? On montre que cette hypothèse est principalement liée aux techniques de preuves et qu'elle n'est pas nécessaire à l'obtention de vitesses rapides. Dans le cadre continu, une hypothèse de géométrie sur $X^*$ est proposée pour étendre plusieurs résultats connus. On donne enfin des résultats de convergence pour V-FISTA et FISTA sans hypothèse d'unicité du minimiseur

Étude de méthodes inertielles en optimisation et leur comportement sous conditions de géométrie

This thesis manuscript is devoted to the optimization of composite convex functions in a deterministic framework. In this context, I have focused on the convergence analysis of optimization algorithms under growth assumptions.When it comes to minimizing such functions, the most efficient first-order methods are said to be inertial, since they introduce a notion of momentum. While the introduction of this inertia is generally beneficial, it is necessary to parameterize this type of method properly to obtain a solution quickly and avoid pathological behavior. For example, some so-called Heavy-Ball methods require knowledge of the condition number of the function to be minimized in order to be used.The question this thesis seeks to answer is: which method should be applied given the geometric assumptions verified by $F$? Since the methods studied are inertial, we can rephrase this problem as follows: how can inertia be controlled when $F$ verifies a growth hypothesis that is stronger than convexity? Several strategies are proposed, based on algorithmic procedures or on the link existing between numerical schemes and dynamical systems.The first part is devoted to restart methods. The work presented here stems from the following observation: when the function to be minimized satisfies a growth hypothesis (e.g. strong convexity), the fastest methods must be calibrated according to the growth parameter (or, equivalently, according to the condition), which can be difficult to estimate. Restart strategies aim to answer the question: how can we take advantage of the growth assumptions of a function when the growth parameter is not known? Two FISTA restart schemes are introduced that ensure a fast exponential decay of the error without requiring the knowledge of some geometry parameters.Secondly, we study an alternative approach to controlling inertia and attenuating oscillatory behavior. This analysis concerns a dynamical system introduced by Attouch, Peypouquet and Redont, which is close to that proposed by Su, Boyd and Candès, and involves a friction term driven by the Hessian of $F$. The introduction of this friction term dampens trajectory oscillations, and first-order numerical schemes can be derived from this system. We focus on the convergence properties of the trajectories of this system when $F$ satisfies growth conditions. In this context, we show that the introduction of the Hessian term leads to integrability properties on the gradient of the function $F$ that become stronger and stronger as the growth assumptions are strengthened. Since the assumptions considered are related to the L{}ojasiewicsz inequality, these properties provide guarantees on error decay.The last part is devoted to the assumption of uniqueness of the minimizer in the convergence analysis of inertial methods. In the literature, the strongest convergence results for dynamical systems and numerical schemes when $F$ verifies a growth condition are based, with a few exceptions, on the assumption that $F$ has a unique minimiser. The questions raised in this chapter are: what is the reason for this assumption? Is it possible to obtain fast convergence results without it? We show that this assumption is mainly related to proof techniques and that it is not necessary to obtain fast convergence. In the continuous framework, a geometry assumption on $X^*$ is proposed to extend several known results. Finally, convergence results are given for V-FISTA and FISTA without the minimiser uniqueness assumption.Ce manuscrit de thèse est consacré à l'optimisation de fonctions convexes composites dans un cadre déterministe. Dans ce cadre, je me suis concentré sur l'analyse de convergence d'algorithmes d'optimisation sous des hypothèses de croissance.Lorsque l'on s'intéresse à la minimisation de telles fonctions, les méthodes de premier ordre les plus efficaces sont dites inertielles car elles font apparaître une notion d'élan. Si l'introduction de cette inertie est généralement bénéfique, il est nécessaire de bien paramétrer ce type de méthodes pour obtenir une solution rapidement et éviter des comportements pathologiques. Par exemple, certaines méthodes dites Heavy-Ball nécessitent de connaître la valeur du conditionnement de la fonction à minimiser pour être utilisées.La question à laquelle cherche à répondre cette thèse est : quelle méthode appliquer en fonction des hypothèses de géométrie vérifiées par $F$? Comme les méthodes étudiées sont inertielles, on peut reformuler cette problématique de la manière suivante : comment maîtriser l'inertie lorsque $F$ vérifie une hypothèse de croissance plus forte que la convexité? Plusieurs stratégies sont proposées, basées sur des procédés algorithmiques ou sur le parallèle entre schémas numériques et systèmes dynamiques.Une première partie est consacrée aux méthodes de restart. Les travaux qui y sont présentés font suite au constat suivant : lorsque la fonction à minimiser vérifie une hypothèse de croissance (forte convexité par exemple), les méthodes les plus rapides doivent être calibrées en fonction du paramètre de croissance (ou de manière équivalente en fonction du conditionnement) qui peut être difficile à estimer. Les stratégies de restart visent à répondre à la question : comment profiter des hypothèses de croissance d'une fonction lorsque le paramètre de croissance n'est pas connu? Je propose deux schémas de restart de FISTA permettant d'obtenir des garanties théoriques de convergence rapide en s'affranchissant de la connaissance de certains paramètres de géométrie.Dans un deuxième temps, on étudie un moyen alternatif permettant de maîtriser l'inertie et atténuer les comportements oscillatoires. Cette analyse porte sur un système dynamique introduit par Attouch, Peypouquet et Redont qui est proche de celui proposé par Su, Boyd et Candès et fait intervenir un terme de friction lié à la hessienne de $F$. L'introduction de ce terme de friction permet d'atténuer les oscillations des trajectoires et des schémas numériques de premier ordre peuvent être dérivés de ce système. On se concentre ici sur les propriétés de convergence des trajectoires de ce système lorsque $F$ vérifie des hypothèses de croissance. Dans ce contexte, on montre que l'introduction du terme lié à la hessienne permet d'obtenir des propriétés d'intégrabilité sur le gradient de la fonction $F$ qui sont de plus en plus fortes à mesure que les hypothèses de croissance sont renforcées. Comme les hypothèses considérées sont liées à l'inégalité de L{}ojasiewicsz, ces propriétés donnent des garanties sur la décroissance de l'erreur.La dernière partie est dédiée à l'hypothèse d'unicité du minimiseur dans l'analyse de convergence de méthodes inertielles. Dans la littérature, les résultats de convergence les plus forts pour des systèmes dynamiques et des schémas numériques lorsque $F$ vérifie une condition de croissance s'appuient, sauf exception, sur l'hypothèse que $F$ a un unique minimiseur. Les questions posées dans ce chapitre sont : à quoi est due cette hypothèse? Est-il possible d'obtenir des résultats de convergence rapide en s'en affranchissant? On montre que cette hypothèse est principalement liée aux techniques de preuves et qu'elle n'est pas nécessaire à l'obtention de vitesses rapides. Dans le cadre continu, une hypothèse de géométrie sur $X^*$ est proposée pour étendre plusieurs résultats connus. On donne enfin des résultats de convergence pour V-FISTA et FISTA sans hypothèse d'unicité du minimiseur

FISTA restart using an automatic estimation of the growth parameter

In this paper, we propose a novel restart scheme for FISTA (Fast Iterative Shrinking-Threshold Algorithm). This method which is a generalization of Nesterov's accelerated gradient algorithm is widely used in the field of large convex optimization problems and it provides fast convergence results under a strong convexity assumption. These convergence rates can be extended for weaker hypotheses such as the \L{}ojasiewicz property but it requires prior knowledge on the function of interest. In particular, most of the schemes providing a fast convergence for non-strongly convex functions satisfying a quadratic growth condition involve the growth parameter which is generally not known. Recent works by Alamo et al. show that restarting FISTA could ensure a fast convergence for this class of functions without requiring any geometry parameter. We improve these restart schemes by providing a better asymptotical convergence rate and by requiring a lower computation cost. We present numerical results emphasizing that our method is efficient especially in terms of computation time

FISTA restart using an automatic estimation of the growth parameter

In this paper, we propose a restart scheme for FISTA (Fast Iterative Shrinking-Threshold Algorithm). This method which is a generalization of Nesterov's accelerated gradient algorithm is widely used in the field of large convex optimization problems and it provides fast convergence results under a strong convexity assumption. These convergence rates can be extended for weaker hypotheses such as the \L{}ojasiewicz property but it requires prior knowledge on the function of interest. In particular, most of the schemes providing a fast convergence for non-strongly convex functions satisfying a quadratic growth condition involve the growth parameter which is generally not known. Recent works show that restarting FISTA could ensure a fast convergence for this class of functions without requiring any knowledge on the growth parameter. We improve these restart schemes by providing a better asymptotical convergence rate and by requiring a lower computation cost. We present numerical results emphasizing the efficiency of this method

FISTA restart using an automatic estimation of the growth parameter

In this paper, we propose a restart scheme for FISTA (Fast Iterative Shrinking-Threshold Algorithm). This method which is a generalization of Nesterov's accelerated gradient algorithm is widely used in the field of large convex optimization problems and it provides fast convergence results under a strong convexity assumption. These convergence rates can be extended for weaker hypotheses such as the \L{}ojasiewicz property but it requires prior knowledge on the function of interest. In particular, most of the schemes providing a fast convergence for non-strongly convex functions satisfying a quadratic growth condition involve the growth parameter which is generally not known. Recent works show that restarting FISTA could ensure a fast convergence for this class of functions without requiring any knowledge on the growth parameter. We improve these restart schemes by providing a better asymptotical convergence rate and by requiring a lower computation cost. We present numerical results emphasizing the efficiency of this method

Heavy Ball Momentum for Non-Strongly Convex Optimization

When considering the minimization of a quadratic or strongly convex function, it is well known that first-order methods involving an inertial term weighted by a constant-in-time parameter are particularly efficient (see Polyak [32], Nesterov [28], and references therein). By setting the inertial parameter according to the condition number of the objective function, these methods guarantee a fast exponential decay of the error. We prove that this type of schemes (which are later called Heavy Ball schemes) is relevant in a relaxed setting, i.e. for composite functions satisfying a quadratic growth condition. In particular, we adapt V-FISTA, introduced by Beck in [10] for strongly convex functions, to this broader class of functions. To the authors' knowledge, the resulting worst-case convergence rates are faster than any other in the literature, including those of FISTA restart schemes. No assumption on the set of minimizers is required and guarantees are also given in the non-optimal case, i.e. when the condition number is not exactly known. This analysis follows the study of the corresponding continuous-time dynamical system (Heavy Ball with friction system), for which new convergence results of the trajectory are shown.Problèmes inverses aveugles et microscopie optiqueMathématiques de l'optimisation déterministe et stochastique liées à l'apprentissage profondNumerical analysis, optimal control and optimal transport for A

Parameter-Free FISTA by Adaptive Restart and Backtracking

We consider a combined restarting and adaptive backtracking strategy for the popular Fast IterativeShrinking-Thresholding Algorithm frequently employed for accelerating the convergence speed of large-scale structured convex optimization problems. Several variants of FISTA enjoy a provable linear convergence rate for the function values $F(x_n)$ of the form $\mathcal{O}( e^{-K\sqrt{\mu/L}~n})$ under the prior knowledge of problem conditioning, i.e. of the ratio between the (\L ojasiewicz) parameter $\mu$ determining the growth of the objective function and the Lipschitz constant $L$ of its smooth component. These parameters are nonetheless hard to estimate in many practical cases. Recent works address the problem by estimating either parameter via suitable adaptive strategies. In our work both parameters can be estimated at the same time by means of an algorithmic restarting scheme where, at each restart, a non-monotone estimation of $L$ is performed. For this scheme, theoretical convergence results are proved, showing that a $\mathcal{O}( e^{-K\sqrt{\mu/L}n})$ convergence speed can still be achieved along with quantitative estimates of the conditioning. The resulting Free-FISTA algorithm is therefore parameter-free. Several numerical results are reported to confirm the practical interest of its use in many exemplar problems

Parameter-Free FISTA by Adaptive Restart and Backtracking

We consider a combined restarting and adaptive backtracking strategy for the popular Fast IterativeShrinking-Thresholding Algorithm frequently employed for accelerating the convergence speed of large-scale structured convex optimization problems. Several variants of FISTA enjoy a provable linear convergence rate for the function values $F(x_n)$ of the form $\mathcal{O}( e^{-K\sqrt{\mu/L}~n})$ under the prior knowledge of problem conditioning, i.e. of the ratio between the (\L ojasiewicz) parameter $\mu$ determining the growth of the objective function and the Lipschitz constant $L$ of its smooth component. These parameters are nonetheless hard to estimate in many practical cases. Recent works address the problem by estimating either parameter via suitable adaptive strategies. In our work both parameters can be estimated at the same time by means of an algorithmic restarting scheme where, at each restart, a non-monotone estimation of $L$ is performed. For this scheme, theoretical convergence results are proved, showing that a $\mathcal{O}( e^{-K\sqrt{\mu/L}n})$ convergence speed can still be achieved along with quantitative estimates of the conditioning. The resulting Free-FISTA algorithm is therefore parameter-free. Several numerical results are reported to confirm the practical interest of its use in many exemplar problems