0

Cardiology AR

Didattica in realtà aumentata all’Università di Padova

Augmented reality
UX/UI Design
App mobile

Abbiamo realizzato in sole due settimane un’applicazione attraverso cui gli studenti di medicina dell’Università di Padova possono osservare e analizzare il modello 3D di un cuore attraverso la realtà aumentata: un nuovo modo di fare formazione.

La sfida non è stata solo realizzare modelli fedeli alla realtà, è stato altresì fondamentale concepire una app in grado di garantire completezza informativa attraverso gerarchizzazione dei modelli stessi e una User Interface in grado di gestire una grande complessità.

Foto modello di cuore

La formazione in realtà aumentata

Il processo cognitivo, ovvero il processo di acquisizione di conoscenze e comprensione, nell’essere umano avviene attraverso il pensiero, i sensi e l’esperienza.

Fino al 60% di questo processo dipende dal senso della vista e dell’udito, il restante 40% è attribuito all’applicazione pratica o astratta di quanto memorizzato.

Uno studio effettuato dal laboratorio nazionale per la formazione negli Stati Uniti afferma che i tassi di ritenzione mnestica (ovvero la capacità di ricordare ciò di cui si ha avuto esperienza) crescono fino ad un tasso del 75% nel caso dell’utilizzo della realtà aumentata all’interno del processo educativo. 

Se, a quanto sopra, aggiungiamo che la formazione specialistica in campo medico comporta rischi per l’incolumità di studenti e docenti e che il reperimento di materiale organico e luoghi dove studiarlo rappresenta un costo considerevole, subito si evincono le potenzialità della realtà aumentata nel favorire un apprendimento efficace e sostenibile.

Modello 3D del cuore che abbiamo usato per la formazione in realtà aumentata
Modello cuore 3D su sfondo grigio
Veduta dei due ventricoli del cuore 3D

Dalle esigenze alla gerarchia delle informazioni

Con la collaborazione del Prof. Vladimiro Vida, Direttore dell UOC di Cardiochirurgia Pediatrica e delle Cardiopatie Congenite e con lo studente di Medicina Francesco Bertelli, abbiamo analizzato il consueto percorso di apprendimento e gli strumenti comunemente utilizzati. La soluzione adottata fino a questo momento è stata la stampa 3D di organi del corpo umano realizzati da un software che sfrutta scansioni ottenute per mezzo di  TAC, ECO e risonanza magnetica. Questi modelli 3D permettono agli studenti di toccare con mano, vedere e sezionare organi alla stregua di quelli reali.

La necessità era quindi ottenere modelli quanto più fedeli ad organi reali completamente analizzabili e sezionabili come se fossero tra le mani di uno studente. Era quindi vitale non solo il modello 3D ma anche concepire modalità interazione con esso, il tutto all’interno di una complessa varietà di cuori con diverse forme e diverse patologie.

Cosa può offrire la realtà aumentata in più rispetto ad un modello stampato in 3D o addirittura ad un organo reale?

L’impatto positivo, come detto in precedenza, riguarda la riduzione di rischi e costi, ma questa tecnologia consente inoltre di avere un’enorme quantità di materiale, modelli e informazioni all’interno di un semplice smartphone. Non è necessario realizzare, trasportare e  immagazzinare oggetti fisici, inoltre durante l’analisi possono essere chieste maggiori informazioni al sistema che, attraverso un attento studio della UI, le fa comparire sui modelli virtuali.

Mappa shader del cuore 3D
Gif cuore 3D con sfondo dinamico

Progettare la tecnologia giusta

E’ stata effettuata a monte un’accurata analisi della tecnologia più adatta per realizzare in primis l’app mobile in grado di ospitare i modelli 3D e le relative informazioni e, successivamente, i cuori in realtà aumentata.

Un primo MVP ci ha permesso di sottoporre all’Università di Padova i frutti del nostro studio relativo alle interfacce, il flusso di navigazione e la resa degli asset digitali che sono stati poi avallati e hanno costituito la base per lo sviluppo di un’app completa e strutturata.

Sono state concepite perciò tutte le schermate che consentono agli utenti di accedere alle molteplici funzionalità attraverso un menù in grado di gestire una grande mole di informazioni in maniera molto intuitiva.

Smartphone con app griglia selezione modelli 3D
App mobile per taglio digitale del cuore 3D
Zoom app modello 3D del cuore

Realtà aumentata e modelli 3D: il cuore del progetto

Parallelamente sono stati ottimizzati per una fruizione in real-time i modelli 3D delle cavità degli organi, partendo da asset già in possesso dell’Università di Padova e conferendo loro un aspetto fotorealistico grazie all’applicazione di texture in altissima qualità ottenute con la tecnica della fotogrammetria. 

I cuori in realtà aumentata possono quindi essere sezionati e arricchiti con informazioni in sovraimpressione per fornire un’esperienza completa agli studenti che non pregiudichi la qualità dell’insegnamento. Inoltre, per mantenere familiarità con la normale didattica, il sezionamento virtuale dei modelli ricalca quello effettuato durante l’analisi ecocardiografica: Parasternale asse lungo (PLAX, Parasternale asse corto (PSSAX) e Apicale 4 camere (A4C).

Modelli così realizzati consentono un puntuale analisi morfologica e funzionale dell’organo e di ciascuna delle sue parti

Modello 3D in poligoni
Veduta del testo in realtà aumentata e 3D
Evidenziazione difetti del cuore in real time
Cuore sezionato in realtà aumentata

Per l’evidenziazione con colore delle aree del cuore con difetti, è stato necessario creare le Mappe UV, non presenti nelle scansioni. In questo modo è stato possibile eseguire il painting direttamente in 3D, rendendolo intuitivo e semplice da eseguire. Le Mappe UV hanno permesso inoltre di distribuire in modo efficace e corretto le texture sui modelli 3D.

Il team di sviluppo ha dovuto gestire molti modelli in poco tempo e quindi è stato utilizzato UV unwrapper di ultimissima generazione, che riduce il lavoro manuale accorciando di fatto i tempi di sviluppo.

Inoltre, è stato scelto di utilizzare un solo set di texture per tutti i cuori, così da rendere l’applicazione mobile leggera ed ottimizzata (meno di 60MB) pur mantenendo la risoluzione in 4K.

Un’ulteriore sfida è stata quella di arricchire i modelli 3D, sia fruiti attraverso visualizzatore 3D sia visualizzati in realtà aumentata, con informazioni in forma scritta. Questo testo doveva comparire in maniera meno invasiva possibile ma, allo stesso tempo, doveva essere facilmente leggibile.

Il frutto di tutto ciò è un’esperienza utente non-lineare: ciascuno studente può interagire in maniera diversa sui diversi modelli e relative sezioni, non un percorso obbligato e comune a tutti ma esperienze diverse adatte alle necessità di tutti gli utilizzatori. Una formazione per certi versi personalizzata e, perciò, più efficace pur non aumentando a dismisura i costi.

L’output è quindi un’app mobile per i sistemi operativi iOS e Android che sfruttano rispettivamente ARKit e ARCore per la visualizzazione in tempo reale di modelli 3D nell’ambiente che ci circonda. E’ stata altresì prevista semplice visualizzazione 3D per i device più datati non in grado di supportare la realtà aumentata.

I prossimi sviluppi prevedono la possibilità di utilizzare la tecnologia WebAR per fruire dei modelli senza la necessità di scaricare un’app, abbattendo un ulteriore freno all’utilizzo.

“Le tecnologie di rendering real-time costituiscono la soluzione perfetta
per questo progetto, rendendo tutto davvero stimolante. Imparare grazie ad un software che è vivo ed interattivo direttamente dal proprio smartphone
racconta come le tecnologie nate per i videogame sono ormai fondamentali anche in ambiti completamente diversi. L’accesso ad una quantità così grande di
informazioni e la rappresentazione intuitiva della loro complessità diventa insostituibile.”

Giacomo Garoffolo, XR Technical Lead

App con evidenziazione difetti del cuore 3D
App evidenzia sezione del cuore 3D soggetta a difetti

Le nuove tecnologie a sostegno della didattica

La realtà aumentata, come le altre tecnologie immersive, ha un forte potere evocativo che permette agli utilizzatori di provare esperienze coinvolgenti e totalizzanti, come nel caso di Nice Spa e Phasys VR.

Nel settore della formazione questo genere di contenuti consentono di ottenere una maggiore efficacia nell’apprendimento grazie ad esperienze del tutto paragonabili a quelle  reali vissute attraverso i normali strumenti per la didattica.

Questa efficacia incontro poi l’efficienza: asset virtuali che possono essere analizzati e manipolati ovunque e in qualsiasi momento abbattono drasticamente i costi di reperimento e smaltimento di organi reali, di utilizzo di luoghi appositamente allestiti e di equipaggiamenti per ciascuno studente

Siamo quindi davanti ad un’importante evoluzione nel mondo della formazione specialistica ottenuta grazie alle potenzialità di una tecnologia, la realtà aumentata, già ampiamente diffusa e con la quale è facile interagire: basta un semplicissimo smartphone per posizionare oggetti virtuali nell’ambiente che ci circonda e interagirvi con semplici tap sullo schermo. 

L’Università di Padova, prossima agli 800 anni di storia, ha abbracciato questa nuova tecnologia per migliorare la didattica dei propri dottorandi in medicina, testimoniando come la tecnologia davvero utile è quella che offre un reale beneficio e si inserisce in maniera fluida all’interno di processi messi a punto in anni e anni di lavoro.

“Siamo orgogliosi di essere stati i primi all’interno dell’Ateneo Patavino a sviluppare questa nuova modalità di didattica. Grazie alla nostra app, ogni studente ha a disposizione una libreria di modelli anatomici di cuori affetti da cardiopatie congeniti semplici e complesse.
La possibilità di ricostruire tridimensionalmente dei modelli cardiaci partendo dalle comuni tecniche radiologiche e l’ausilio delle realtà aumentata consente a chiunque possieda un tablet o uno smartphone di studiare l’anatomia delle cardiopatie congenite, di poter navigare all’interno del cuore, rendendo l’apprendimento interattivo, personalizzato, stimolante e molto efficace.”

Prof. Vladimiro Vida, Professore Ordinario di Chirurgia Cardiaca presso l’Università degli Studi di Padova

Condividi questo Progetto:

Vuoi saperne di più?