Sintesi vocale attraverso speech BCI invasive: nuove prospettive verso un parlato intelligibile

Ogni anno milioni di persone risultano affette da numerose patologie neurodegenerative o traumatiche che comportano la perdita della capacità di parlare. Gli strumenti che permettono il ripristino della comunicazione sono le BCI (Brain Computer Interface), cioè delle interfacce che collegano l’attività celebrale ad un computer che ne registra e ne interpreta le variazioni. Una caratteristica comune alla maggior parte di tali strumenti è che la comunicazione permessa dalle BCIs risulta solitamente essere molto lenta rispetto alla capacità comunicativa del linguaggio naturale poiché si riescono a riprodurre solo 5/6 parole al minuto. Per questo motivo negli ultimi dieci anni la ricerca si è concentrata su altre possibili soluzioni in cui le tecniche di BCIs fossero in grado di controllare un sintetizzatore vocale in tempo reale al fine di ripristinare una comunicazione fluente. In questo contesto si inserisce l’obiettivo della tesi che consiste nel confrontare tre differenti sistemi di speech BCI in grado di riprodurre un discorso fluente e intelligibile. I metodi di BCI confrontati nel presente elaborato sintetizzano il parlato attraverso la rilevazione invasiva dell’attività cerebrale misurata tramite elettrocorticografia (ECoG) da specifiche aree del cervello deputate al linguaggio. Tutti i metodi descritti decodificano l’attività cerebrale attraverso delle reti neurali, e utilizzano l’attività cerebrale direttamente collegata alla produzione del linguaggio per controllare il sistema di speech BCI, attuando quindi una comunicazione diretta. Ad oggi questi innovativi sistemi di speech BCI rappresentano la soluzione più promettente per risolvere problemi di comunicazione per persone affette da SLA e LIS poiché permettono di ripristinare una capacità comunicativa molto simile a quella del linguaggio naturale migliorando la qualità della vita del paziente

Metodi e tecniche per aumentare l'efficienza nei sistemi di Mass Customization

Questa tesi riguarda i sistemi produttivi di Mass Customization. L'idea di affrontare questo argomento è nata dal tirocinio fatto in Manni Sipre, di cui viene riportato il caso studio. Dopo una spiegazione di cosa si intende per Mass Customization e della sua storia, vengono discusse alcune tecniche gestionali e alcune tecnologie (Industry 4.0 e reti neurali artificiali) utili per garantire e aumentare l'efficienza in questi sistemi produttivi

Automation of urban technological census. The historical centre of Bethlehem

The research proposal reports the outcomes of a research track concerning the automation of the architectural census of technological elements in urban environments, aiming at the development of a monitoring and management system for the built heritage. The proposal is focused on a set of specific elements (water tanks) stacked on the coverings of the historical centre of Bethlehem and leverages close-range photogrammetric acquisitions to train Deep Learning models. The model lifecycle management, from training to prediction and deployment, as well as the storage of both image data and metadata, is performed through the scalability of a Cloud enterprise architecture. Periodical scheduled monitoring enables comparisons across different periods, allowing the detection of modifications, removals, and additions, therefore identifying the insurgence of potential criticalities. The goal of the project is the definition of a protocol to automate the identification of recurrent elements and monitor their evolution through time

Sorveglianza statistica di immagini: confronto tra due approcci di riduzione dimensionale

I progressi della misurazione online hanno permesso di raccogliere una mole ingente di dati in molte applicazioni. L'enorme quantità di rilevamenti generati sequenzialmente ed in tempo reale da una vasta gamma di sensori, nota come big data, contiene informazioni dettagliate sul processo che le ha generate, fornendo opportunità per il miglioramento della sorveglianza statistica. Tuttavia, la sorveglianza online di questi dati è un compito impegnativo: poiché i flussi hanno un grande volume e sono generati ad alta velocità, l'analisi in tempo reale sarà obbligatoriamente influenzata da vincoli hardware. Spesso è richiesto quindi di identificare, registrare ed utilizzare solamente le informazioni più preziose per l'analisi in tempo reale. Un esempio di dati ad alta dimensionalità è rappresentato dalle immagini. Le immagini vengono spesso analizzate attraverso un approccio statistico multivariato comunemente noto nell'SPC come “Multivariate Image Analysis” (MIA). Il contributo principale della presente trattazione consiste nel porre a confronto due approcci MIA di Fase II, denominati ST-PCA e SASAM, che trattano la sorveglianza statistica di immagini con due differenti approcci di riduzione dimensionale. Entrambe queste procedure costituiscono un miglioramento di carte di controllo esistenti in letteratura, il quale avviene in entrambi i casi grazie all’inclusione dell’informazione spaziale intrinseca nel processo monitorato. Lo scopo è dunque quello di evidenziare eventuali vantaggi o svantaggi di queste due procedure nel caso esse vengano applicate ad uno stesso dataset, confrontando la reattività delle carte, la loro efficienza in termini computazionali e la loro efficacia nel rilevare anomalie nel processo sorvegliato.The improvements in online data-acquisition have made it possible to collect a huge amount of data in many applications. The huge quantity of measurements generated sequentially and in real time by a wide range of sensors, known as big data, contains detailed information on the process that generated them, providing opportunities for the improvement of statistical control. However, online monitoring of this data is a challenging task: as the streams have a large volume and are generated at high speed, real-time analysis will necessarily be affected by hardware constraints. It is therefore often required to identify, record, and utilise only the most valuable information for real-time analysis. An example of high-dimensional data is given by images. Images are often analysed using a multivariate statistical approach commonly known in SPC as “Multivariate Image Analysis” (MIA). The main contribution of the present work is to compare two Phase II MIA approaches, named ST-PCA and SASAM, which deal with the statistical monitoring of images with two different dimensionality reduction approaches. Both procedures constitute an improvement of existing control charts in the literature, which is achieved in both cases through the inclusion of intrinsic spatial information in the monitored process. The aim is therefore to highlight possible advantages or disadvantages of these two procedures when applied to the same dataset, comparing the responsiveness of the charts, their computational efficiency and their effectiveness in detecting anomalies in the monitored process

L’importanza del fattore umano e della manutenzione nel Safety Management System: dall’approccio risk based all’industria 4.0

Il presente lavoro, si è invece soffermato sullo stretto legame tra manutenzione e sicurezza. Un binomio, quest’ultimo, che ben si coniuga nell’approccio Risk Based Maintenance, il cui criterio decisionale è costituito dal rischio delle attrezzature/impianti e che nell’assicurare la longevità degli asset ha ricadute positive sulla salute e sicurezza dei lavoratori. Tuttavia, il binomio manutenzione-sicurezza, si presta anche ad un’altra considerazione: le attività di manutenzione sono intrinsecamente pericolose per la peculiarità delle modalità di esecuzione delle stesse. In questa prospettiva, non si può non tenere in conto del “Fattore Umano”, dapprima come “decisore” nel processo che porta alla definizione dei piani di manutenzione e di ispezione, e poi come “manutentore”, ed in quanto tale esposto a pericoli nello svolgimento delle attività. Un approccio sistemico al problema necessita di un utile strumento per mettere in evidenza le interrelazioni tra i componenti dello stesso, per cui si è fatto ricorso alla System Dynamics, ed in particolare allo strumento grafico, il Causal Loop Diagram, per rendere immediatamente visibili queste relazioni causa-effetto e che costituiscono il punto di partenza per la costruzione successiva del modello. Dal modello proposto, emerge quanto sia il “fattore uomo” che le “attività di manutenzione” siano elementi chiave all’interno del Safety Management e sui quali dover agire in maniera congiunta o singola (gli aspetti sono tra loro interconnessi) al fine di migliorare lo stato del sistema. Inoltre, considerata la rivoluzione industriale che ci accingiamo a sperimentare, industria 4.0, vengono rivisti i due fattori chiave del SMS: la manutenzione ed il fattore uomo. La manutenzione assume carattere prevalentemente “predittivo intelligente” in quanto fa ricorso a dati provenienti dal monitoraggio effettuato dai sensori collegati mediante la rete e ne vengono messi in evidenza i punti di forza e di debolezza. In questo scenario fortemente automatizzato, cambia anche il ruolo dell’uomo all’interno della nuova Smart Factory: “supervisore” dei robot e dei processi. Alla risorsa umana saranno richieste nuove “skill” per la gestione dell’enorme mole di dati che dovranno essere acquisiti, analizzati ed interpretati. Pertanto, la problematica si sposterà a livelli cognitivi e il “knowledge management” sarà la nuova sfida

Una procedura per l’identificazione del danno in strutture reticolari in acciaio

Come tutte le altre strutture, anche i ponti ferroviari in acciaio sono suscettibili di potenziale danneggiamento, dovuto principalmente a fenomeni di fatica e corrosione. Al fine di aumentare la sicurezza di tali infrastrutture, è utile identificare i danni esistenti così da poter intervenire prontamente. La quantità di dati a disposizione forniti dai sistemi di monitoraggio evidenzia la necessità di adottare metodologie opportune per l’identificazione del danno e la descrizione dei suoi effetti sul comportamento strutturale e sulla valutazione dell’affidabilità dell’opera. La tesi si pone l’obiettivo di individuare una metodologia in grado di utilizzare misure di vibrazione ed immagini. Per l’identificazione del danno attraverso misure di vibrazione si introduce un approccio basato su un funzionale di errore fra dati stimati da modello e quelli determinati dalle misure. In questo ambito i dati utilizzati sono le frequenze e le forme modali. Nel caso delle immagini si introduce un funzionale di errore fra descrittori del danno quali l’area plasticizzata o la cricca osservabili in modelli numerici locali di dettaglio e l’osservazione attraverso immagini digitali dello stesso fenomeno. Il modello locale è utilizzato per alimentare la scelta dei descrittori del danno nei modelli globali. Il metodo e le elaborazioni numeriche sono effettuati attraverso dati sperimentali forniti da una campagna sperimentale e di monitoraggio effettuata su un ponte ferroviario storico in Spagna

SI-Lab Annual Research Report 2020

The Signal & Images Laboratory (http://si.isti.cnr.it/) is an interdisciplinary research group in computer vision, signal analysis, smart vision systems and multimedia data understanding. It is part of the Institute for Information Science and Technologies of the National Research Council of Italy. This report accounts for the research activities of the Signal and Images Laboratory of the Institute of Information Science and Technologies during the year 2020

Evoluzione tecnologica e future applicazioni dei sistemi di scansione dei difetti del legno tondo e dei segati

Negli ultimi decenni, la tecnologia nelle segherie si è considerevolmente sviluppata, non solo nell’ambito della lavorazione, del trasporto, dell’essiccazione e dello stoccaggio del materiale, ma anche nell’ambito che riguarda le fasi successive alla lavorazione. Da alcuni decenni è incrementata e continua ad aggiornarsi la scansione ad alta tecnologia del legno ed il controllo qualitativo svolto dalle reti neurali di Intelligenza Artificiale per il riconoscimento dei difetti. Questo ha permesso un miglioramento del controllo dei difetti, una miglior certificazione dei prodotti e un modo più efficace per migliorare il prodotto finale, diminuendo così gli scarti di lavorazione e favorendo l’utilizzo di operatori preposti al controllo qualitativo, molto spesso inefficace. Questa tesi percorre l’evoluzione di questi metodi innovativi di scannerizzazione e di come potrebbe ancora svilupparsi in futuro, soprattutto tratterà i benefici che potrebbe portare in un mercato così duramente colpito dal disboscamento illegale, incontrollato e non certificato, soprattutto con il verificarsi sempre più frequentemente di eventi legati al cambiamento climatico.In recent decades, technology in sawmills has developed considerably, not only in the area of processing, transport, drying and storage of material, but also in the post-processing stages. In recent decades, high-tech wood scanning and quality control using artificial intelligence neural networks have been developed and are still being updated. This has led to improved defect control, better product certification and a more effective way of improving the product, thus decreasing scrap and favouring the use of quality control operators, who are very often ineffective. This thesis explores the evolution of these innovative scanning methods and how they might still develop in the future, especially discussing the benefits they could bring to a market so heavily affected by illegal, uncontrolled and non-certified logging, especially with the increasingly frequent occurrence of climatic events

Sistemi immersivi per contesti sociali: come progettare e sviluppare nuovi tipi di esperienze ed interazioni

In questo lavoro verr\ue0 affrontato e discusso il concetto di esperienza immersiva e delle tematiche ad esso collegate con l\u2019obiettivo finale di individuare e descrivere i principali fattori da tenere in considerazione durante la progettazione e lo sviluppo di artefatti digitali immersivi in contesti sociali. Nella prima parte del lavoro verranno quindi introdotti i concetti di immersivit\ue0, le tecnologie che consentono la creazione della sensazione di immersione e i sensi che vengono stimolati. La seconda parte del lavoro introduce invece quella che \ue8 una classificazione dei contesti in cui \ue8 possibile fruire questo tipo di esperienze, permettendo quindi di evidenziare possibili differenze tra le necessit\ue0, i vincoli e gli agenti presenti all\u2019interno di ciascuno. La combinazione e l\u2019applicazione dei primi due argomenti ha portato a dover affrontare e definire il concetto di esperienza immersiva, le teorie e i concetti importanti da seguire per una sua buona realizzazione. Durante l\u2019argomentazione delle tematiche relative al concetto di esperienza immersiva si \ue8 arrivati a delineare quelli che sono gli elementi caratterizzanti di questo tipo di esperienze (social contexts, environment, content, fruition, people relation, people disabilities, involved display, tracking e outcomes) e che si vanno a riflettere su quattro variabili principali da tenere in considerazione durante la progettazione, lo sviluppo e l\u2019analisi. Queste riflessioni hanno portato alla concezione di un modello che si basa sulla descrizione delle informazioni legate al contesto in cui l\u2019esperienza viene fruita (Context), la tipologia di utenti coinvolti (Users), la tecnologia necessarie per lo sviluppo (Technology), e le competenze necessarie per la sua realizzazione (Expertise). Tale modello, abbreviato in CUTE (Context, Users, Technology, Expertise), \ue8 stato poi quindi utilizzato per la progettazione e lo sviluppo delle esperienze immersive realizzate durante l\u2019intero percorso di dottorato oltre che per l\u2019analisi di progetti esistenti a cui si \ue8 contribuito, permettendo di evidenziare con facilit\ue0 le alternative che i singoli elementi sono in grado assumere e consentendo l\u2019identificazione di bisogni, requisiti e problematiche in maniera agile per ciascuna delle singole variabili. Le singole esperienze hanno riguardato lo sviluppo di funzionalit\ue0 aggiuntive per un simulatore di operazioni videolaparoscopiche; la progettazione e sviluppo di un prototipo di simulatore di parto; lo sviluppo di un\u2019esperienza di realt\ue0 aumentata in contesto education per l\u2019apprendimento; la creazione di un virtual coach per il recupero motorio; un survey sulle possibili alternative d\u2019uso di Natural User Interfaces su dispositivi mobile; uno studio su un\u2019applicazione per la fruizione di luoghi non accessibili a causa di limiti strutturali degli ambienti o fisici/cognitivi degli utenti; la realizzazione di un prototipo immersivo per la progettazione di spazi dedicati a eventi pubblici; lo sviluppo di un\u2019applicazione dedicata al immersive journalism; ed infine lo studio di un sistema intelligente per lo smaltimento dei rifiuti. Nelle conclusioni verranno i ripresi i concetti introdotti nelle varie sezioni e che insieme ai risultati emersi dalle singole esperienze permetteranno di fare delle riflessioni sulla readiness, cio\ue8 il livello di prontezza operativa, dei singoli contesti rispetto all\u2019introduzione delle tecnologie immersive oltre che delle considerazioni sull\u2019applicabilit\ue0 e le possibili evoluzioni del modello CUTE sviluppato.This work will analyze the concept of \u201cimmersive experience\u201d and notions related to it, with the final aim to identify and describe the key elements to consider when designing and developing immersive digital artifacts in social contexts. The first part of the dissertation introduces the concepts of immersiveness and immersion, with a specific focus on technologies able to stimulate various human senses, thus enabling a perception called \u201csense of immersion\u201d. Then, I will classify the possible social contexts in which an immersive experience can happen, highlighting the differences in terms of needs, constraints and agents involved. The combination of the knowledge belonging to immersion and social contexts leads to a deeper concept of immersive experience with theories and best practices useful for its development. This insight allowed the categorization of nine key elements that shape an immersive experience: social contexts, environment, content, fruition, people relation, people disabilities, involved display, tracking and outcomes. Such elements converge in four different variables to consider during the stages of analysis, design and development. Such variables refer to the information related to the context in which the experience occurs, the kind of users involved, the technologies and expertise required to complete the development. Starting from these considerations, I developed a model named CUTE (Context, Users, Technologies, Expertise) that can be used to analyze existing products and develop new projects. The model has been used for all the immersive experiences I realized during these years of PhD. In particular, the development of additional features for a videolaparoscopic simulator; the design and development of a birth simulator; the development of an augmented reality experience in educational context; a survey on the possible alternatives to enable Natural User Interfaces on mobile devices; the creation of a virtual coach for motor recovery; the development of an application to visit inaccessible places; the creation of an immersive solution for the design of public spaces and events; the development of an application dedicated to immersive journalism; the study of an intelligent system for waste disposal. Altogether the concepts introduced in the various sections and the results of single experiences gives hints about the readiness of the individual contexts regarding the introduction of immersive technologies as well as considerations on the applicability and possible evolutions of the CUTE model developed