Linear Memory Networks

Recurrent neural networks can learn complex transduction problems that require maintaining and actively exploiting a memory of their inputs. Such models traditionally consider memory and input-output functionalities indissolubly entangled. We introduce a novel recurrent architecture based on the conceptual separation between the functional input-output transformation and the memory mechanism, showing how they can be implemented through different neural components. By building on such conceptualization, we introduce the Linear Memory Network, a recurrent model comprising a feedforward neural network, realizing the non-linear functional transformation, and a linear autoencoder for sequences, implementing the memory component. The resulting architecture can be efficiently trained by building on closed-form solutions to linear optimization problems. Further, by exploiting equivalence results between feedforward and recurrent neural networks we devise a pretraining schema for the proposed architecture. Experiments on polyphonic music datasets show competitive results against gated recurrent networks and other state of the art models

Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory

The effectiveness of recurrent neural networks can be largely influenced by their ability to store into their dynamical memory information extracted from input sequences at different frequencies and timescales. Such a feature can be introduced into a neural architecture by an appropriate modularization of the dynamic memory. In this paper we propose a novel incrementally trained recurrent architecture targeting explicitly multi-scale learning. First, we show how to extend the architecture of a simple RNN by separating its hidden state into different modules, each subsampling the network hidden activations at different frequencies. Then, we discuss a training algorithm where new modules are iteratively added to the model to learn progressively longer dependencies. Each new module works at a slower frequency than the previous ones and it is initialized to encode the subsampled sequence of hidden activations. Experimental results on synthetic and real-world datasets on speech recognition and handwritten characters show that the modular architecture and the incremental training algorithm improve the ability of recurrent neural networks to capture long-term dependencies.Comment: accepted @ ECML 2020. arXiv admin note: substantial text overlap with arXiv:2001.1177

Design, synthesis and biological evaluation of acyclic nucleotide prodrugs as potential antiviral agents

Acyclovir (ACV) is an acyclic guanine nucleoside analogue used in the treatment of herpes simplex virus (HSV) and varicella zoster virus (VZV) infections. The human herpes virus-encoded thymidine kinase (HHV-TK) phosphorylates ACV generating ACV monophosphate, which is then converted to the active form ACV triphosphate by cellular kinases. The ProTide approach, causing the direct release of the monophosphate form into the cell, allows bypass of the first phosphorylation step of nucleoside analogues. In previous studies acyclovir ProTides were found to be active in vitro against human immunodeficiency virus (HIV), demonstrating a successful release of ACV monophosphate into the cell. In this work, an extensive study of structure-activity relationship was carried out varying the masking groups of the ACV ProTide. Subsequently, several substituents were considered on specific position of the guanine base and side chain of ACV resulting in the synthesis of the aryl phosphoramidate derivatives of ganciclovir, penciclovir, 6-O-alkyl acyclovir, 8-bromoacyclovir, and 8- methylacyclovir. These derivatives were evaluated in vitro for their antiviral activity against HSV, VZV, human cytomegalovirus (HCMV), and HIV. Enzymatic and molecular modeling studies were carried out in order to investigate the bioactivaton of the phosphoramidate derivatives synthesised in this work and correlate these results with their biological activity. Finally, the ProTide approach was also applied to cidofovir resulting in the formation of the phosphonoamidate derivative of cyclic cidofovir. The in vitro antiviral activity of this compound against herpes viruses and poxviruses is reported, as well as investigation of the mechanism of activation, using enzymatic and molecular modeling studies.EThOS - Electronic Theses Online ServiceGBUnited Kingdo

L’istruttoria tributaria sui dati finanziari. Dal segreto bancario alla trasparenza nei rapporti col fisco

La ricerca è stata prioritariamente indirizzata all’approfondimento dei caratteri essenziali dell’istruttoria tributaria generalmente intesa, onde procedere, successivamente, allo studio delle indagini finanziarie quale categoria di poteri istruttori autonomamente classificabile. Nel lavoro di tesi sono state quindi analizzate le principali tappe del percorso evolutivo verso il superamento del segreto bancario, ed in forza del quale, ad oggi, l’istruttoria tributaria sui dati finanziari è divenuta una delle modalità ispettive maggiormente efficaci nel contrasto all’evasione. Dall’attività di ricerca è infatti da subito emerso come la vigente disciplina dell’attività di indagine sui dati finanziari ai fini fiscali, sia di per sé idonea a sublimare l’importanza nodale dell’istruttoria nel procedimento di imposizione. D’altro canto è evidente come le indagini finanziarie risultino un ausilio essenziale per la ricostruzione della verità fiscale prodromica all’accertamento, e si configurino, pertanto, come uno degli strumenti maggiormente idonei a garantire la preminenza dell’interesse erariale sui diritti dei singoli consociati. Proprio a tal riguardo, nel corso della trattazione è stata offerta una completa disamina della disciplina relativa all’istruttoria sui dati finanziari, onde evidenziare l’evoluzione di una normativa che ha sancito il superamento del segreto bancario, e ha inaugurato una nuova stagione caratterizzata della trasparenza nei rapporti col Fisco. È tuttavia palese come le ragioni sottese al reperimento del gettito non possano prescindere da un corretto bilanciamento tra autorità e libertà, nonché dal riconoscimento di un adeguato sistema di tutele al soggetto sottoposto a verifica. Si tratta, con tutta evidenza, dei presupposti imprescindibili per il legittimo esercizio di poteri istruttori così penetranti, in relazione ai quali emergono le criticità più manifeste della tematica oggetto della ricerca. Sotto tale profilo, è emerso come meccanismi presuntivi iuris tantum di cui agli artt. 32, 1°co., n. 2, del D.P.R. n. 600/1973, e 51, 2°co., n. 2, del D.P.R. n. 633/1972, volti alla determinazione inferenziale del reddito e/o dell’imponibile in base alle movimentazioni finanziarie imputabili al contribuente, abbiano destato molteplici perplessità, tanto da esser sottoposti più volte al vaglio della Corte Costituzionale. Gli ultimi interventi della Consulta in materia di indagini finanziarie, evidenziano una tendenza all’abolizione di quelle presunzioni legali che violino il canone della ragionevolezza. Proprio in tal senso si è infatti espressa la Corte Costituzionale con la pronuncia 6 ottobre 2014, n. 228, con la quale è stato ridotto l’ambito applicativo della presunzione sui prelevamenti, escludendone l’operatività in relazione ai professionisti. Tale impostazione, fortemente sostenuta anche dalla dottrina, è stata peraltro confermata dallo stesso Legislatore che con il D.L. 22 ottobre 2016, n. 193 (c.d. Decreto Fiscale) convertito nella L. 2 dicembre 2016, n. 225, ha recepito i principi già espressi dalla giurisprudenza costituzionale per i lavoratori autonomi, e ha altresì circoscritto l’ambito applicativo delle presunzioni sui prelevamenti per i percettori di reddito di impresa, alle sole operazioni per importi superiori a euro 1.000 giornalieri e, comunque, a euro 5.000 mensili. Dallo studio è tuttavia emerso come, nonostante i predetti interventi della Consulta e del Legislatore siano indirizzati verso una sempre maggior limitazione delle presunzioni legali nelle indagini finanziarie, non sia stata ancora fornita una risposta esaustiva ai molteplici dubbi ermeneutici sorti in relazione a una disciplina che continua a presentare molteplici profili di criticità, e ciò in particolar modo per quanto riguarda la tematica della tutela del contribuente. Quella della tutela dei diritti del soggetto sottoposto a verifica si configura, con tutta evidenza, come una tematica di grande attualità, specie alla luce del fenomeno della moltiplicazione delle fonti di prova di cui può disporre il Fisco per fondare la propria pretesa tributaria. A tal riguardo è stato infatti evidenziato come, ad oggi, l’Amministrazione disponga di una rilevantissima mole di dati finanziari. Si è infatti delineato uno scenario in cui l’istruttoria tributaria può trarre impulso, indifferentemente, sia dai dati raccolti ai sensi degli artt. 32, 1°co., n. 2, del D.P.R. n. 600/1973, e 51, 2°co., n. 2, del D.P.R. n. 633/1972, idonei a fondare le presunzioni iuris tantum più volte richiamate, sia dalle informazioni acquisite fuori dai predetti schemi normativi idonee a fondare delle presunzioni semplici, tra le quali rientrano quelle acquisite a seguito della mutua cooperazione amministrativa tra Stati. È stato quindi delineato un quadro d’insieme delle discipline della circolazione automatica tramite standard dei dati finanziari, così come delineati dal Foreign Account Tax Compliance Act (FATCA), e dal Common Reporting Standard OCSE (C.R.S.). Può infatti affermarsi come lo snello regime di circolazione transnazionale tramite standard dei dati finanziari attuato dagli Stati nell’ambito della mutua assistenza amministrativa, abbia delineato nuovi e assai interessanti scenari applicavi per l’attività istruttoria fiscale, di guisa che il percorso verso trasparenza nei rapporti col Fisco intrapreso negli anni ’50 del secolo scorso, risulta oggi esteso oltre i confini nazionali. É stato infatti sottolineato come, a prescindere dell’operatività delle citate presunzioni legali relative delineate dalla normativa nazionale, i dati finanziari possano in ogni caso assurgere a fattori indizianti cui fare ricorso nell’ambito dei metodi di accertamento per la ricostruzione induttiva del debito tributario ascrivibile al soggetto sottoposto a verifica, e ciò sia nell’ipotesi in cui gli stessi siano stati raccolti sul territorio nazionale, sia che gli stessi siano pervenuti all’Amministrazione a seguito dello scambio transnazionale di informazioni. A tal proposito, si è posto in rilievo come nanti all’importanza sempre più nodale assunta dall’istruttoria sui dati finanziari nel procedimento di imposizione, debba essere garantita l’effettività della tutela dei contribuenti sottoposti ad indagine, sia nei casi in cui dati finanziari siano stati acquisiti secondo le norme di diritto interno, sia per quanto riguarda le verifiche fondate sulle risultanze finanziarie ottenute per mezzo della mutua cooperazione tra Stati. Sul punto non può infatti negarsi come, in effetti, sia la normativa interna sulle indagini finanziarie, che quella pattizia e comunitaria sullo scambio di informazioni, presentino delle evidenti carenze per ciò che concerne la tutela dei diritti dei soggetti i cui dati finanziari siano posti al fondamento dell’attività di indagine degli Uffici. Proprio in tal senso è stato quindi affermato come la chiave di volta per superare le criticità che caratterizzano l’istruttoria sui dati finanziari, debba essere in primo luogo individuata nell’auspicato ingresso nel nostro ordinamento di una clausola generale sul contraddittorio anticipato. Il suindicato assunto risulta valido, sia nell’ipotesi in cui operino le presunzioni iuris tantum sopra citate, per le quali, a ben vedere, la partecipazione pre-contenziosa costituisce il parametro di conformità del meccanismo inferenziale all’art. 53 Cost., sia nel caso in cui i dati finanziari, acquisiti sul territorio nazionale o per mezzo dello scambio di informazioni tra Stati, debbano considerarsi alla stregua di meri fatti indizianti idonei a integrare delle presunzioni semplici. Non vi è infatti chi non veda, come la partecipazione difensiva del contribuente all’attività istruttoria si configuri come un imprescindibile baluardo di civiltà giuridica. È stato peraltro posto in rilievo come il necessario riconoscimento del contraddittorio endoprocedimentale nelle indagini tributarie sia affermato dagli stessi principi che promanano dall’ordinamento internazionale e comunitario, i quali, tuttavia, non risultano direttamente applicabili negli ordinamenti domestici a cagione della loro natura organizzatoria. In tal senso si è quindi auspicato che il Legislatore nazionale introduca ex novo una disciplina dell’istruttoria sui dati finanziari, riservando alla tematica dell’istruttoria sui dati finanziari un intervento maggiormente incisivo rispetto alla mera novella della normativa esistente, di recente operata con D.L. 22 ottobre 2016, n. 193, convertito nella Legge 2 dicembre 2016, n. 225. Se infatti, da un lato, possono condividersi le ragioni che hanno condotto al superamento del segreto bancario e all’affermazione della trasparenza nei rapporti col Fisco in materia finanziaria e creditizia, dall’altro non può negarsi che la disciplina delle indagini finanziarie necessiti di un intervento che vada ben oltre il semplice maquillage normativo, e ciò a cagione dell’incisività e della trasversalità dei poteri riconosciuti all’Amministrazione. In particolare dovrà essere superata l’astrusità degli attuali artt. 32, 1°co., n. 2, del D.P.R. n. 600/1973, e 51, 2°co., n. 2, del D.P.R. n. 633/1972, garantendo che le presunzioni legali, ove permangano nella struttura dell’impianto normativo, siano pienamente conformi al canone di ragionevolezza, e che, a prescindere dall’operare dei meccanismi inferenziali, sia assicurata l’effettività della tutela dei diritti del contribuente per mezzo del contraddittorio pre-contenzioso

Continual Learning with Gated Incremental Memories for sequential data processing

The ability to learn in dynamic, nonstationary environments without forgetting previous knowledge, also known as Continual Learning (CL), is a key enabler for scalable and trustworthy deployments of adaptive solutions. While the importance of continual learning is largely acknowledged in machine vision and reinforcement learning problems, this is mostly under-documented for sequence processing tasks. This work proposes a Recurrent Neural Network (RNN) model for CL that is able to deal with concept drift in input distribution without forgetting previously acquired knowledge. We also implement and test a popular CL approach, Elastic Weight Consolidation (EWC), on top of two different types of RNNs. Finally, we compare the performances of our enhanced architecture against EWC and RNNs on a set of standard CL benchmarks, adapted to the sequential data processing scenario. Results show the superior performance of our architecture and highlight the need for special solutions designed to address CL in RNNs.Comment: Accepted as a conference paper at 2020 International Joint Conference on Neural Networks (IJCNN 2020). Part of 2020 IEEE World Congress on Computational Intelligence (IEEE WCCI 2020

Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization

Training RNNs to learn long-term dependencies is difficult due to vanishing gradients. We explore an alternative solution based on explicit memorization using linear autoencoders for sequences, which allows to maximize the short-term memory and that can be solved with a closed-form solution without backpropagation. We introduce an initialization schema that pretrains the weights of a recurrent neural network to approximate the linear autoencoder of the input sequences and we show how such pretraining can better support solving hard classification tasks with long sequences. We test our approach on sequential and permuted MNIST. We show that the proposed approach achieves a much lower reconstruction error for long sequences and a better gradient propagation during the finetuning phase.Comment: Accepted at NeurIPS 2020 workshop "Beyond Backpropagation: Novel Ideas for Training Neural Architectures

Design, synthesis and biological evaluation of acyclic nucleotide prodrugs as potential antiviral agents

Acyclovir (ACV) is an acyclic guanine nucleoside analogue used in the treatment of herpes simplex virus (HSV) and varicella zoster virus (VZV) infections. The human herpes virus-encoded thymidine kinase (HHV-TK) phosphorylates ACV generating ACV monophosphate, which is then converted to the active form ACV triphosphate by cellular kinases. The ProTide approach, causing the direct release of the monophosphate form into the cell, allows bypass of the first phosphorylation step of nucleoside analogues. In previous studies acyclovir ProTides were found to be active in vitro against human immunodeficiency virus (HIV), demonstrating a successful release of ACV monophosphate into the cell. In this work, an extensive study of structure-activity relationship was carried out varying the masking groups of the ACV ProTide. Subsequently, several substituents were considered on specific position of the guanine base and side chain of ACV resulting in the synthesis of the aryl phosphoramidate derivatives of ganciclovir, penciclovir, 6-O-alkyl acyclovir, 8-bromoacyclovir, and 8- methylacyclovir. These derivatives were evaluated in vitro for their antiviral activity against HSV, VZV, human cytomegalovirus (HCMV), and HIV. Enzymatic and molecular modeling studies were carried out in order to investigate the bioactivaton of the phosphoramidate derivatives synthesised in this work and correlate these results with their biological activity. Finally, the ProTide approach was also applied to cidofovir resulting in the formation of the phosphonoamidate derivative of cyclic cidofovir. The in vitro antiviral activity of this compound against herpes viruses and poxviruses is reported, as well as investigation of the mechanism of activation, using enzymatic and molecular modeling studies.EThOS - Electronic Theses Online ServiceGBUnited Kingdo

Determination of reference interval for presepsin, an early marker for sepsis

Introduction: Presepsin, the circulating soluble form of CD14 subtype (sCD14-ST) is a new emerging early marker for sepsis. Various cutoff levels of presepsin have been proposed, to discriminate between systemic bacterial and nonbacterial infectious diseases. The aim of this work was to define the reference interval for presepsin according to the CLSI C28-A3c approved guideline. Materials and methods: Reference individuals (N = 200; 120 females) aged 18-75 years (median 39 years), free from inflammatory diseases, were selected for the study. Presepsin concentrations were measured by a commercially available chemiluminescent enzyme immunoassay (PATHFASTTM, Mitsubishi Chemical Europe GmbH, Düsseldorf, Germany). Reference limits were calculated using the non-parametric percentile method. Results: Overall, the reference limits for the presepsin were 55–184 pg/mL (90% confidence intervals, CI, were 45 to 58 and 161 to 214, respectively). There were no significant differences between males and females and the presepsin concentrations were not even particularly influenced by age. The upper reference limit for the presepsin is much lower than every cut-off limit so far proposed, both for sepsis and also for systemic inflammatory response syndrome. Conclusion: Specific decision levels are required to define the diagnostic and prognostic roles of presepsin in different settings of inflammatory and infectious diseases. Reference values can help to distinguish and quickly rule out healthy subjects or patients with other pathologie