Applicazioni della Mixed Reality in Ambito Sanitario: Stato dell’Arte e Prospettive Future

Milgram ha introdotto nel 1994 il concetto di "virtuality continuum" che usa questa tesi per collocare la realtà mista all'interno della realtà estesa. Più specificatamente, secondo il modello di Milgram, la realtà mista comprenderebbe la realtà aumentata e la virtualità aumentata e indicherebbe quell'ambiente dove coesistono elementi reali e virtuali. A differenza della realtà virtuale che già sembra essere entrata comunemente nella nostra quotidianità, le applicazioni in realtà mista si sono sviluppate solo negli ultimi anni principalmente a causa delle sfide hardware e tecnologiche che le caratterizzano. I recenti sviluppi di dispositivi facilmente reperibili, come HoloLens o MagicLeap, hanno contribuito ad accelerare la ricerca. Lo scopo di questa tesi è di analizzare gli utilizzi della realtà mista in ambito sanitario. Partendo dalle applicazioni individuate in letteratura, l'intento finale è di individuare le sfide o i limiti della tecnologia maggiormente riportati per riuscire infine ad aiutare o ispirare ricerche future

Studio, Progettazione e Sviluppo di Applicazioni di Realtà Mista Cooperative

Le esperienze cooperative in realtà mista. Che cosa sono? Quali sono gli scopi dietro il loro sviluppo? Che cosa aspetta uno sviluppatore che si avvicina a questi sistemi? Questa tesi cerca di rispondere a queste domande ponendo sotto esame diverse tecnologie di collocazione molto recente, analizzando un progetto preso come caso di studio e implementato tramite diversi strumenti. Al giorno d’oggi, la sfera della realtà mista/realtà aumentata si sta espandendo sempre di più, arrivando a sfiorare mondi che prima risultavano totalmente scollegati. Il mondo dello sviluppo in ambito gaming è entrato infine in questo panorama grazie alle tante similarità con certi tipi di applicazioni MR. Uno degli strumenti più utilizzati in questo ambito è Unity, un motore grafico utilizzato per creare videogiochi e non solo: in questo progetto si sfrutterà questo ambiente di sviluppo per realizzare una semplice applicazione in realtà mista cooperativa, che permetta quindi l’accesso a più utenti contemporaneamente e la loro interazione. Per farlo, si valuteranno diverse opzioni, in particolare due, Netcode for GameObjects e Photon PUN, provenienti da due ambienti diversi ma entrambe strettamente legate a Unity, cercando di ottenere lo stesso risultato ma con due strade diverse come base per un confronto. Basteranno queste tecnologie o ci vuole ancora altro per la realtà mista? Questo studio trova una base matura e pronta a uscire dal suo guscio? Oppure c’è ancora tanta strada da fare? Sulla base di questo verrà tenuto il confronto, cercando una risposta generale ma concreta. Questa tesi si dividerà in due parti: la parte introduttiva, che fornirà tutti i concetti sulla realtà mista necessari e un panorama sull’ambiente MR in generale. La seconda, invece, servirà a illustrare quali sono le sfide di uno sviluppo in questo mondo, usando un progetto applicativo come soluzione a queste sfide o almeno ad una loro parte

Sviluppo in Mixed Reality: i design pattern nei principali framework di sviluppo.

L'obbiettivo della seguente tesi è quello di analizzare quali sono ad oggi i migliori framework per lo sviluppo di software in Mixed Reality e studiare i design pattern più utili ad uno sviluppatore in questo ambito. Nel primo capitolo vengono introdotti i concetti di realtà estesa, virtuale, aumentata e mista con le relative differenze. Inoltre vengono descritti i diversi dispositivi che consentono la realtà mista, in particolare i due visori più utilizzati: Microsoft Hololens 2 e Magic Leap 1. Nello stesso capitolo vengono presentati anche gli aspetti chiave nello sviluppo in realtà mista, cioè tutti gli elementi che consentono un'esperienza in Mixed Reality. Nel secondo capitolo vengono descritti i framework e i kit utili per lo sviluppo di applicazioni in realtà mista multi-piattaforma. In particolare vengono introdotti i due ambienti di sviluppo più utilizzati: Unity e Unreal Engine, già esistenti e non specifici per lo sviluppo in MR ma che diventano funzionali se integrati con kit specifici come Mixed Reality ToolKit. Nel terzo capitolo vengono trattati i design pattern, comuni o nativi per applicazioni in realtà estesa, utili per un buono sviluppo di applicazioni MR. Inoltre, vengono presi in esame alcuni dei principali pattern più utilizzati nella programmazione ad oggetti e si verifica se e come sono implementabili correttamente su Unity in uno scenario di realtà mista. Questa analisi risulta utile per capire se l'utilizzo dei framework di sviluppo, metodo comunemente più utilizzato, comporta dei limiti nella libertà di sviluppo del programmatore

Studio e sviluppo prototipale di un'applicazione di realtà mista in ambito healthcare con dispositivo hololens 2

La seguente tesi si pone come obiettivo lo studio e lo sviluppo di un’applicazione di realtà mista in ambito healthcare. Inizialmente, vengono date le basi teoriche per comprendere il significato di Extended Reality presentando le tecnologie che la compongono come la Virtual Reality, l'Augmented Reality e la Mixed Reality. In seguito vengono descritte le diverse tipologie di dispositivi in grado di permettere la realtà mista. In particolare vengono presentati: HoloLens 2 e MagicLeapOne. Nell’elaborato di tesi acquisisce un ruolo importante la trattazione dei diversi aspetti da tenere in considerazione durante la progettazione di applicazioni MR. Successivamente vengono mostrati alcuni esempi di applicazioni mediche già presenti in letteratura aventi come scopo primario la diagnosi e il sostegno all’assistenza sanitaria. Si descrive in generale lo scopo dell'applicazione, quali sono gli obiettivi principali del progetto e il concetto di DICOM e modello 3D e perché sono importanti. Viene data una panoramica delle tecnologie utilizzate nel progetto che servono a sviluppare applicazioni di realtà mista, quali: Unity, MRTK e OpenXR. Proseguendo nella trattazione si scende più nel dettaglio della progettazione e implementazione del prototipo realizzato. Il corpo del progetto prevede un esempio pratico in cui si mostrano tutti i passaggi, la dimostrazione di cosa avviene all’avvio dell’applicazione, come si può interagire con il menù e come invece con l'ologramma rappresentante il file DICOM e il modello 3D. Poi si evidenziano quali sono le problematiche riscontrate durante la programmazione e vengono, inoltre, presentate delle idee per effettuare dei miglioramenti o nuove funzionalità per sviluppi futuri

Ambienti di servizi per applicazioni in mixed reality per MS HoloLens

Nella presente tesi, dopo una prima parte dedicata all'analisi del concetto di realtà mediata e delle sue varie specializzazioni, verranno illustrati i principali dispositivi hardware presenti attualmente sul mercato, analizzandone le caratteristiche, gli aspetti innovativi e la diffusione raggiunta al momento. Si passerà quindi ad esaminare nel dettaglio il visore Microsoft HoloLens, impiegato per la realizzazione del progetto di laurea, per arrivare alla descrizione dello sviluppo di un'applicazione. Il software realizzato rappresenta un esempio di applicazione della realtà mista al campo del design di interni: verranno esaminati strumenti di sviluppo, architettura, casi d'uso e work-flow dell'applicazione. Infine verranno descritte le fasi di test, i costi di sviluppo dell'applicazione e il feedback ricevuto dagli utenti

Sviluppo di un'applicazione industriale in Realtà Mista con HoloLens

L’obiettivo di questa tesi è presentare uno studio sulla tecnologia immersiva e sui vari campi che comprende. L’elaborato è articolato su quattro punti principali. Il primo punto riguarda il significato di realtà mista, comparandola con quella virtuale e aumentata. Si accennerà alla storia di questa tecnologia e poi si analizzeranno gli effetti negativi sulla salute, che è una tematica molto importante da considerare. Il secondo punto sarà un’analisi di mercato per permettere uno sguardo più ampio su ciò che è già stato sviluppato e come viene utilizzato nell’industria. Verrà fatto un elenco degli attuali dispositivi in commercio per mostrare le alternative e si proporranno alcune applicazioni future di questa tecnologia. Il terzo punto, e ultimo argomento teorico, sarà incentrato sulle caratteristiche tecniche del visore HoloLens 2: saranno analizzate tutte le tematiche principali, la costruzione, il display, i sensori e le tecniche utilizzate per far fronte a diverse problematiche. Si passerà poi a una prova pratica in laboratorio, che consentirà di verificare l’effettiva efficienza del visore. Infine verrà trattata la creazione di un’applicazione, tramite software Unity, utilizzabile in ambito industriale, che permette di simulare il posizionamento di diverse risorse nello spazio e acquisirne la posizione

La simulazione medica nel futuro: un tentativo di visioning The health simulation in the future: an attempt of visioning

La pratica clinica è un componente indispensabile dell’apprendimento e del mantenimento delle competenze in molte delle discipline sanitarie e la simulazione offre l’opportunità di praticare in maniera sicura ed efficace senza rischi per il paziente. La simulazione nella didattica medica si è già ampiamente evoluta rispetto alle sue fasi iniziali. L’introduzione dei simulatori di pazienti umani, intorno alla fine del XX secolo, rappresenta una tappa fondamentale nella scienza dell’educazione in sanità. Fino ad oggi l’attenzione degli sviluppatori si è concentrata da un lato sulla capacità dei simulatori di dare feedback verosimili e coerenti con il comportamento del paziente e con la fisiologia umana e dall’altro sull’interazione fra simulatore e utilizzatore. Le emergenti tecnologie nel campo della percezione sensoriale apporteranno miglioramenti significativi sia nella formazione in simulazione che nella gestione della simulazione stessa. Basandosi sull’analisi delle tecnologie attualmente disponibili e in via di sviluppo, questo scritto vuole essere uno sforzo di visioning sul futuro delle tecniche di simulazione. Nano-sensori e nano-attuatori, usati nella realtà aumentata/virtuale/ mista, permetteranno sia la concettualizzazione di sistemi capaci di aumentare il livello di realismo e di immersione sensoriale ma anche di mappare i movimenti e le azioni al fine di generare protocolli univoci di intervento. Proiettandoci in un ipotetico 2025, la simulazione medica sarà un’esperienza democratica, largamente accessibile, dinamica e immersiva a 360°, grazie alle tecniche di implementazione neuro-percettive.Practice is a key component of skills learning and maintenance in many health disciplines and simulation offers the opportunity to practice in a safe and effective manner improving patient safety. Simulation for healthcare training has already evolved through its initial historical phases. The introduction of human patient simulator toward the end of the 20th century was a milestone in health sciences education. To date the attention of developers has been paid to the capability of the simulator to give feedback, consistent with patient behavior and physiologic response, and the interaction between simulator and users. The emerging technologies in the field of sensorial perception will bring improvements both in education and in management of the simulation. Grounding on the analysis of current and under-development technology, the manuscript is an attempt of visioning simulation-based training in health education in a coming future. Nano-sensors and nano-actuators, used in augmented/virtual/mixed reality, will allow the conceptualization of systems increasing the level of realism and the sensorial immersion, and the mapping of movements and action in order to generate univocal protocols of intervention. Projecting ourselves in 2025, medical simulation will be a democratic, largely accessible, dynamic and 360° sensorial experience, thanks to techniques of neuro-perceptive implementation

MR Chef: progettazione di un'applicazione in realtà mista per la cucina

Dopo un analisi di varie soluzioni pubblicate da team di ricerca, si propone una piattaforma in Realtà Mista (MR) dove poter fruire di ricette. L'uso del visore Hololens 2 consente di seguire i passaggi senza toccare fisicamente il dispositivo. La ricetta è visibile sotto forma di una finestra fluttuante contenente testo, immagini, video e ologrammi. Vengono poi analizzate possibili estensioni future della piattaforma per renderla più interattiva, generale e personalizzata

Smart city e smart people: dalla realtà urbana alla realtà mista

Il presente studio si pone come obiettivo la sperimentazione in ambienti urbani di una delle tecnologie che sta rivoluzionando il mercato tecnologico: la realtà virtuale (VR) e più genericamente delle tecnologie appartenenti al mondo della realtà estesa (XR), intesi come possibili strumenti a supporto della pianificazione, per affrontare le attuali sfide urbane. La matrice culturale e l’ambito di applicazione di questo studio sono le smart city. L’obiettivo è quello di migliorare la qualità della vita dei cittadini con il supporto delle più moderne tecnologie ICT, tenendo conto delle esigenze sociali, culturali, ambientali e fisiche di una società. La gestione e la visualizzazione dei dati e quindi delle informazioni, sono due elementi chiave nella pianificazione per il raggiungimento della smartness, una delle principali sfide per professionisti e pianificatori. È esattamente da queste riflessioni che si può intendere come la XR e tutte le tecnologie da essa derivanti rappresentano uno dei potenziali strumenti per raffigurare ed enfatizzare il valore delle informazioni all’interno di una città intelligente, aiutando non solo i tecnici di settore, ma supportando i cittadini nella comprensione delle politiche pianificatorie, soprattutto nelle fasi iniziali della progettazione. Inoltre, sarà brevemente descritta la sperimentazione eseguita nella Circoscrizione 2 della Città di Torino

Effectiveness analysis of traditional and mixed reality simulations in medical training: a methodological approach for the assessment of stress, cognitive load and performance

La simulazione nell'educazione in medicina è considerata un metodo di formazione in grado di migliorare le competenze cliniche e il comportamento degli operatori sanitari e, di conseguenza, la qualità dell'assistenza per il paziente. Inoltre, l'utilizzo di nuove tecnologie come la Realtà Aumentata, offre ai discenti l'opportunità di esercitarsi in un ambiente immersivo. L'opportunità di sperimentare questo innovativo metodo didattico è efficace non solo nel ridurre il rischio di errori e approcci sbagliati ma anche nel provare ansia e stress simili a quelli avvertiti nella pratica reale. La sfida sta nel trovare il giusto equilibrio. I discenti devono infatti provare lo stesso stress che avvertirebbero lavorando ad un vero caso clinico ma, allo stesso tempo, devono essere controllati ed evitati possibili disturbi da stress post-traumatico, verificabili soprattutto nel campo della gestione delle emergenze (pronto soccorso). Inoltre, è fondamentale anche ottenere alte prestazioni e un apprendimento adeguato, evitando sovraccarichi cognitivi che influenzerebbero negativamente l’apprendimento. Tuttavia, ad oggi mancano ancora studi approfonditi sull'impatto che le simulazioni mediche hanno su stress, frustrazione, carico cognitivo e apprendimento dei discenti. Per questo motivo, l'obiettivo principale di questo studio è valutare l'efficacia del training tramite simulazione, analizzando prestazioni, ansia, stress e carico cognitivo durante simulazioni cliniche tradizionali (con manichino) ed avanzate (in realtà mista). A questo scopo, è stato sviluppato un approccio metodologico strutturato e completo per valutare le prestazioni, le condizioni emotive e cognitive degli studenti. Questo comprende l'acquisizione e l'analisi di parametri psicologici (valutazione soggettiva), segnali biometrici (valutazione oggettiva) e prestazioni. Questa indagine consente di evidenziare i punti deboli delle simulazioni e offre l'opportunità di definire utili linee guida per la riprogettazione e l'ottimizzazione delle stesse. La metodologia è stata applicata su tre casi studio: il primo si riferisce a simulazioni ad alta fedeltà per la gestione del paziente in pronto soccorso, il secondo si riferisce a simulazioni a bassa fedeltà per la pratica della rachicentesi. Per il terzo caso studio, è stato progettato e sviluppato un prototipo di simulatore in realtà mista per la rachicentesi, con l'obiettivo di migliorare il senso di realismo e immersione della simulazione a bassa fedeltà. 148 studenti sono stati coinvolti nei primi due casi studio osservazionali, mentre soltanto 36 studenti hanno preso parte allo studio pilota sulla simulazione in realtà mista. In tutti i casi di studio sono state effettuate analisi descrittive delle prestazioni, degli stati cognitivi ed emotivi. Per le simulazioni ad alta e bassa fedeltà, le analisi di regressione statistica hanno evidenziato quali variabili influenzano le prestazioni, lo stress e il carico cognitivo degli studenti. Per lo studio pilota sulla realtà mista, l'analisi della user experience ha sottolineato i limiti tecnici della nuova tecnologia.Simulation in medical education is considered a training method capable of improving clinical competence and practitioners’ behaviour, and, consequently quality of care and patient’s outcome. Moreover, the use of new technologies, such as augmented reality, offers to the learners the opportunity to engage themselves in an immersive environment. The opportunity to experiment with this innovative instructional method is effective not only in reducing the risk of errors and wrong approaches but also in experiencing anxiety and stress as in real practice. The challenge is to find the right stress balance: learners have to feel as if they were practicing in the real stressful clinical case, and, at the same time, post-traumatic stress disorders, verifiable especially in the emergency field, must be controlled and avoided. Moreover, it is fundamental also to obtain high performance and learning, thus avoiding cognitive overloads. However, extensive researches about the impact of medical simulations on students’ stress, frustration, cognitive load, and learning are still lacking. For this reason, the main objective of this study is to assess simulation training effectiveness by analysing performance, anxiety, stress, and cognitive load during traditional (with manikin) and advanced (with augmented reality) clinical simulations. A structured and comprehensive methodological approach to assess performance, emotional and cognitive conditions of students has been developed. It includes the acquisition and analysis of psychological parameters (subjective assessment), biometric signals (objective assessment), and task performance. This investigation allows to point out simulations’ weaknesses and offers the opportunity to define useful optimisation guidelines. The methodology has been applied to three case studies: the first one refers to high-fidelity simulations, for the patient management in the emergency room, the second one refers to low-fidelity simulation for rachicentesis. For the third case study, a prototype of a mixed reality simulator for the rachicentesis practice has been designed and developed aiming at improving the sense of realism and immersion of the low-fidelity simulation. While 148 students have been enrolled in the first two case studies, only 36 students have taken part in the pilot study about mixed reality simulation. Descriptive analysis about performance, cognitive and emotional states have been done in all the case studies. For the high-fidelity and low-fidelity simulations, the statistical regression analysis has pointed out which variables affect students’ performance, stress, and cognitive load. For the pilot study about mixed reality, the user experience analysis highlighted the technical limitations of the new technology