Solving the scalarization issues of Advantage-based Reinforcement Learning algorithms

In this research, some of the issues that arise from the scalarization of the multi-objective optimization problem in the Advantage Actor–Critic (A2C) reinforcement learning algorithm are investigated. The paper shows how a naive scalarization can lead to gradients overlapping. Furthermore, the possibility that the entropy regularization term can be a source of uncontrolled noise is discussed. With respect to the above issues, a technique to avoid gradient overlapping is proposed, while keeping the same loss formulation. Moreover, a method to avoid the uncontrolled noise, by sampling the actions from distributions with a desired minimum entropy, is investigated. Pilot experiments have been carried out to show how the proposed method speeds up the training. The proposed approach can be applied to any Advantage-based Reinforcement Learning algorithm

Formal Derivation of Mesh Neural Networks with Their Forward-Only Gradient Propagation

This paper proposes the Mesh Neural Network (MNN), a novel architecture which allows neurons to be connected in any topology, to efficiently route information. In MNNs, information is propagated between neurons throughout a state transition function. State and error gradients are then directly computed from state updates without backward computation. The MNN architecture and the error propagation schema is formalized and derived in tensor algebra. The proposed computational model can fully supply a gradient descent process, and is potentially suitable for very large scale sparse NNs, due to its expressivity and training efficiency, with respect to NNs based on back-propagation and computational graphs

Integrative organelle-based functional proteomics: in silico prediction of impaired functional annotations in SACS KO cell model

Autosomal recessive spastic ataxia of Charlevoix-Saguenay (ARSACS) is an inherited neurodegenerative disease characterized by early-onset spasticity in the lower limbs, axonal-demyelinating sensorimotor peripheral neuropathy, and cerebellar ataxia. Our understanding of ARSACS (genetic basis, protein function, and disease mechanisms) remains partial. The integrative use of organelle-based quantitative proteomics and whole-genome analysis proposed in the present study allowed identifying the affected disease-specific pathways, upstream regulators, and biological functions related to ARSACS, which exemplify a rationale for the development of improved early diagnostic strategies and alternative treatment options in this rare condition that currently lacks a cure. Our integrated results strengthen the evidence for disease-specific defects related to bioenergetics and protein quality control systems and reinforce the role of dysregulated cytoskeletal organization in the pathogenesis of ARSACS

Khinchin theorem for integral points on quadratic varieties

We prove an analogue the Khinchin theorem for the Diophantine approximation by integer vectors lying on a quadratic variety. The proof is based on the study of a dynamical system on a homogeneous space of the orthogonal group. We show that in this system, generic trajectories visit a family of shrinking subsets infinitely often.Comment: 19 page

Infinite ergodic theory and Non-extensive entropies

We bring into account a series of result in the infinite ergodic theory that we believe that they are relevant to the theory of non-extensive entropie

Sviluppo di una sonda multi-pressione e di algoritmi di elaborazione per la ricostruzione dei parametri di volo

La determinazione dei parametri di volo, quali velocità, pressione statica, angoli di incidenza e derapata a partire da misure locali di pressione e di angoli, riveste un ruolo di vitale importanza per la riuscita della missione di un velivolo. L’accuratezza nella ricostruzione di tali parametri è infatti fondamentale per il corretto funzionamento delle leggi controllo e quindi per la sicurezza del volo. Sulla base dell’esperienze maturate dal Dipartimento di Ingegneria Aerospaziale (DIA) per l’integrazione dei dati aria nel Flight Control System Fly-by-Wire (FCS-FBW) del velivolo Aermacchi M346, sono state intraprese delle attività volte allo sviluppo di una nuova sonda per la misura delle pressioni locali. L’idea di base si ispira ai sistemi di tipo Flush Air Data Sensor System (FADSs) che consistono in un insieme di prese di pressione realizzate generalmente sulla parte prodiera della fusoliera, le cui misure sono elaborate da opportuni algoritmi che permettono di ricostruire i parametri di volo. Il numero elevato di prese di pressione che caratterizzano un sistema FADSs consente il suo funzionamento anche in caso di perdita di una o più misure a causa di avarie. Questo aspetto rende le FADSs particolarmente adatte ai sistemi di controllo del volo FCS-FBW caratterizzati da architetture a molteplice ridondanza. Prendendo a riferimento tali sistemi dati aria, è stata studiata una sonda di forma emisferica su un supporto cilindrico

Ricostruzione dei coefficienti di pressione Cpfront e Cpslot2 in condizioni stazionarie dalle curve di calibrazione in galleria del vento transonica (estensione degli inviluppi)

Nel presente Report viene fatta una valutazione, in termini di Coefficienti di pressione, dei legami tra le pressioni locali misurate dalle sonde multi-funzione per la rilevazione dei Dati Aria, che verranno installate sul velivolo M346, e le grandezze asintotiche che caratterizzano il flusso a monte del velivolo stesso, (angolo di incidenza, di derapata e numero di Mach). A tale scopo, si utilizzano sia i dati provenienti dalla campagna di prove effettuata in galleria del vento transonica presso NLR su un modello in scala del velivolo e riportati nel MEMO ITV/ARAT/103/02 /1/, sia i dati relativi al funzionamento delle sonde isolate. Successivamente viene sviluppata una procedura per l’ampliamento del database aerodinamico per tener conto di angoli di incidenza e derapata non presenti nelle acquisizioni di prova. Infine sui Coefficienti di pressione determinati per punti, viene effettuata un’approssimazione polinomiale con la tecnica dei minimi quadrati. Tali funzioni, consentono di stimare (procedura di elaborazione dei Dati aria) le grandezze asintotiche che caratterizzano il flusso a monte del velivolo in funzione delle grandezze misurate

Using stigmergy as a computational memory in the design of recurrent neural networks

In this paper, a novel architecture of Recurrent Neural Network (RNN) is designed and experimented. The proposed RNN adopts a computational memory based on the concept of stigmergy. The basic principle of a Stigmergic Memory (SM) is that the activity of deposit/removal of a quantity in the SM stimulates the next activities of deposit/removal. Accordingly, subsequent SM activities tend to reinforce/weaken each other, generating a coherent coordination between the SM activities and the input temporal stimulus. We show that, in a problem of supervised classification, the SM encodes the temporal input in an emergent representational model, by coordinating the deposit, removal and classification activities. This study lays down a basic framework for the derivation of a SM-RNN. A formal ontology of SM is discussed, and the SM-RNN architecture is detailed. To appreciate the computational power of an SM-RNN, comparative NNs have been selected and trained to solve the MNIST handwritten digits recognition benchmark in its two variants: spatial (sequences of bitmap rows) and temporal (sequences of pen strokes)