Bilevel Programming for Hyperparameter Optimization and Meta-Learning

We introduce a framework based on bilevel programming that unifies gradient-based hyperparameter optimization and meta-learning. We show that an approximate version of the bilevel problem can be solved by taking into explicit account the optimization dynamics for the inner objective. Depending on the specific setting, the outer variables take either the meaning of hyperparameters in a supervised learning problem or parameters of a meta-learner. We provide sufficient conditions under which solutions of the approximate problem converge to those of the exact problem. We instantiate our approach for meta-learning in the case of deep learning where representation layers are treated as hyperparameters shared across a set of training episodes. In experiments, we confirm our theoretical findings, present encouraging results for few-shot learning and contrast the bilevel approach against classical approaches for learning-to-learn

Genomica in Sanità Pubblica. Evidenze scientifiche e prospettive di integrazione nella pratica della prevenzione

I miglioramenti registrati negli ultimi anni nella qualità del sequenziamento di nuova generazione, nella riduzione dei costi associati e in una complessiva evoluzione delle scienze omiche, hanno favorito lo sviluppo della medicina personalizzata o di precisione. Ad oggi, anche a livello di popolazione si possono ottenere dei benefici rilevanti attraverso tale approccio. La Sanità Pubblica di precisione consiste nel fornire il giusto intervento, alla popolazione che ne ha necessità, nel momento e con le modalità opportune. Significa, quindi, promuovere metodologie accurate per identificare e misurare le patologie ma anche le esposizioni, i comportamenti e la suscettibilità. La Sanità Pubblica di precisione è in evoluzione e non è legata semplicemente a geni, trattamenti e malattia ma alla precisa identificazione e risposta ai bisogni di salute. È necessario, quindi, discutere dell’inclusione delle scienze omiche in Sanità Pubblica. La medicina si è evoluta da un modello di diagnosi e trattamento basato essenzialmente sui sintomi ad uno sempre più dipendente dalla definizione bioinformatica di profili di rischio e/o patologici. Tali profili sono delineati mediante la produzione di informazioni attingendo a solide banche dati biologiche con il supporto dell’intelligenza artificiale. D’altra parte l’evoluzione nella pratica sanitaria è un processo complesso che include, tra l’altro, la sostenibilità dei costi sanitari, la valutazione dell’efficienza nella pratica clinica, l'integrazione dei nuovi progressi tecnologici e la rimodulazione dell'organizzazione dei servizi. Nel Gruppo di Lavoro Genomica in Sanità Pubblica della SItI, attivo dal 2012, sono coinvolti prevalentemente docenti universitari ma anche operatori del Ministero della Salute e dei Dipartimenti di Prevenzione. In questo special issue illustriamo alcuni argomenti di ricerca trattati. Non stupirà l’eterogeneità dei temi proposti vista la trasversalità delle scienze omiche in molteplici aspetti della salute umana. In particolare sono illustrati esempi che vanno dalla prevenzione di tumori ad alta incidenza, alla prevenzione di patologie infettive, sia per gli aspetti acuti che cronici, tenendo conto di caratteristiche genetiche ed epigenetiche della popolazione. Inoltre, illustriamo le prospettive di integrazione offerte allo studio del microbiota umano nella prevenzione. Procediamo con la discussione delle modalità di valutazione dei test genetici e genomici per la loro integrazione nell’offerta del Servizio Sanitario Nazionale. Infine, è illustrato il coinvolgimento della popolazione nell’impiego delle tecnologie omiche al fine di promuovere un cambiamento culturale nei confronti delle tecnologie disponibili e nella tutela della salute individuale e collettiva

Bilevel Programming for Hyperparameter Optimization and Meta-Learning

We introduce a framework based on bilevel programming that unifies gradient-based hyperparameter optimization and meta-learning. We show that an approximate version of the bilevel problem can be solved by taking into explicit account the optimization dynamics for the inner objective. Depending on the specific setting, the outer variables take either the meaning of hyperparameters in a supervised learning problem or parameters of a meta-learner. We provide sufficient conditions under which solutions of the approximate problem converge to those of the exact problem. We instantiate our approach for meta-learning in the case of deep learning where representation layers are treated as hyperparameters shared across a set of training episodes. In experiments, we confirm our theoretical findings, present encouraging results for few-shot learning and contrast the bilevel approach against classical approaches for learning-to-learn

Neutrophil-to-lymphocyte ratio (NLR) and platelet-to-lymphocyte ratio (PLR) in Ménière’s disease and vestibular neuritis

Objective: several hypothesis including viral infection, vascular disturbance, and immune-mediated mechanisms have been proposed in Menière disease (MD) and vestibular neuritis (VN) and the role of inflammation has been also investigated. To evaluate the role of neutrophil to lymphocyte ratio (NLR), platelet-to-lymphocyte ratio (PLR) and metabolic parameters in MD and VN patients. Methods: we retrospectively studied 120 subjects (40 affected by MD, 40 by VN and 40 normal controls). We analyzed glycaemia, Haematocrit Blood Test (HCT), leukocytes, neutrophils, lymphocytes, platelets, cholesterol, prothrombin time and the related international normalized ratio (PT-INR), fibrinogen, erythrocyte sedimentation rate (ESR), NLR and PLR. Results: Neutrophils, leukocytes, cholesterol, ESR, NLR and PLR values of MD patients are significantly higher than normal controls. Higher significant values are reported for glycaemia, neutrophils, lymphocytes, leucocyte, fibrinogen, ESR, NLR and PLR in VN patients compared to NC. Conclusions: High levels of NLR and PLR indicate the presence of an acute inflammatory state in both MD and VN. Our data confirm the role of proinflammatory state leading to microvascular injury together with risk factors for atherogenesis. © 2021 International Association of Physicians in Audiology

Recent advances in variable metric first-order methods

Minimization problems often occur in modeling phenomena dealing with real-life applications that nowadays handle large-scale data and require real-time solutions. For these reasons, among all possible iterative schemes, first-order algorithms represent a powerful tool in solving such optimization problems since they admit a relatively simple implementation and avoid onerous computations during the iterations. On the other hand, a well known drawback of these methods is a possible poor convergence rate, especially showed when an high accurate solution is required. Consequently, the acceleration of first-order approaches is a very discussed field which has experienced several efforts from many researchers in the last decades. The possibility of considering a variable underlying metric changing at each iteration and aimed to catch local properties of the starting problem has been proved to be effective in speeding up first-order methods. In this work we deeply analyze a possible way to include a variable metric in first-order methods for the minimization of a functional which can be expressed as the sum of a differentiable term and a nondifferentiable one. Particularly, the strategy discussed can be realized by means of a suitable sequence of symmetric and positive definite matrices belonging to a compact set, together with an Armijo-like linesearch procedure to select the steplength along the descent direction ensuring a sufficient decrease of the objective function