Un gruppo di giovani attraversa la sala di ricevimento dell’edificio principale del Politecnico. Indossano occhiali dall’aspetto futuristico. Quello che sembra un espediente ha uno sfondo scientifico: le persone che camminano sono studenti che misurano l’ambiente con i loro occhiali per i dati. Un giorno, questo spazio potrà essere "giocato" con ologrammi e dissolvere i confini tra il mondo reale e quello virtuale. Le varie telecamere sugli occhiali raccolgono punti d’angolo visivi che servono come riferimento - e saranno sempre riconosciuti in futuro, indipendentemente dalla posizione nella stanza.
Marc Pollefeys, professore di informatica al Politecnico di Zurigo, si trova a suo agio in questo mondo futuristico. Un mondo che viene chiamato realtà mista e che, ne è convinto, tra qualche anno entrerà a far parte della vita quotidiana di molte persone. Pollefeys sta studiando il modo in cui questi due mondi, quello reale e quello virtuale, possono essere combinati il più possibile senza soluzione di continuità.
È grazie al professore dell’ETH che Microsoft sta facendo ricerca sulla realtà aumentata e sull’intelligenza artificiale (AI) a Zurigo. Pollefeys ha aiutato l’azienda tecnologica a sviluppare gli occhiali per la realtà mista HoloLens 2 durante un anno sabbatico negli Stati Uniti. Quando l’informatico belga è tornato in cattedra a Zurigo dopo due anni, Microsoft non ha voluto perdere il suo lavoro e ha fondato il Microsoft Mixed Reality & AI Lab a Zurigo nel 2018, con l’ETH come partner. Oltre alle sue attività di insegnamento e ricerca presso l’ETH, Pollefeys dirige ora questo centro.
Campo di ricerca: computer vision
Marc Pollefeys è stato professore assistente presso l’Università del North Carolina per tre anni prima di arrivare a Zurigo come professore nel 2007 - una decisione facile per lui. "L’ETH dispone di personale eccellente in tutte le aree di ricerca, non solo nella mia. Questo è stato molto importante per me in vista di una possibile collaborazione. E anche per attirare altri colleghi di talento". Pollefeys non è rimasto deluso: "All’ETH posso realizzare molti progetti comuni entusiasmanti, su un piano di parità con altri ricercatori eccezionali".Fin dall’inizio, Pollefeys si è concentrata sulla computer vision, una sottoarea dell’IA. La computer vision addestra i computer a catturare e interpretare le informazioni contenute nei dati di immagini e video. L’obiettivo è utilizzare modelli di apprendimento automatico per creare sistemi digitali in grado di elaborare, analizzare e comprendere i dati visivi come gli esseri umani.
Un sistema addestrato a monitorare gli impianti di produzione, ad esempio, può ispezionare migliaia di prodotti o processi al minuto e rilevare difetti o problemi che sono a malapena riconoscibili dall’uomo. La computer vision è utilizzata in diversi settori, dall’industria dell’energia e dei servizi pubblici all’industria manifatturiera e automobilistica.
Nuove possibilità di applicazione
Combinando la computer vision e la realtà mista, in cui la nostra percezione naturale è integrata da una percezione generata artificialmente, è possibile creare ambienti completamente nuovi per gli utenti. Questo crea possibilità di applicazione innovative e sicure.Ciò è reso possibile da occhiali per la realtà mista come gli HoloLens. Sono dotati di vari sensori e telecamere per tracciare i movimenti degli occhi e riconoscere gesti, oggetti e discorsi, ad esempio. Inoltre, gli ambienti vengono ripresi in tre dimensioni per poter calcolare la posizione e l’ubicazione degli oggetti in questi ambienti. Questa è la base per la creazione di oggetti digitali 3D negli HoloLens.
Questi occhiali possono essere utilizzati, ad esempio, per visualizzare gli schemi dei circuiti o il piano di costruzione digitale di un oggetto o di un edificio direttamente sul posto. "Sovrapponendo il piano virtuale alla realtà, è possibile completare le attività senza dover guardare prima un piano", spiega Pollefeys. La realtà mista può anche aiutare a formare il personale medico per operazioni delicate. Oppure può consentire ai robot di svolgere compiti pericolosi, in quanto possono essere controllati a distanza con gli HoloLens utilizzando semplici gesti delle mani.
Istruzioni in tempo reale
Sullo sfondo dell’automazione, dell’Internet delle cose (IoT) e della generale carenza di manodopera qualificata, il settore fa affidamento su nuove soluzioni, afferma Pollefeys: "Abbiamo bisogno di dipendenti più flessibili e in grado di svolgere molti compiti diversi".Manipolazioni errate, applicazioni non corrette o errori di manutenzione potrebbero costare caro a un’azienda ed essere pericolosi per i dipendenti. Con la realtà mista, gli utenti ricevono informazioni digitali rilevanti al momento giusto e nel giusto contesto. Ad esempio, se uno specialista si trova di fronte a una macchina, frecce e altri simboli possono guidarlo passo dopo passo in un compito difficile o nuovo. Oppure può conoscere i dati sullo stato della macchina in tempo reale grazie alla sovrapposizione di sensori IoT. A differenza della realtà virtuale, in cui si è completamente immersi in un mondo creato artificialmente, nella realtà mista l’ambiente reale rimane visibile, mentre gli ologrammi 3D vengono sovrapposti al campo visivo dell’utente.
Ricerca, insegnamento e applicazione
In qualità di direttore del Mixed Reality & AI Zurich Lab e di responsabile della ricerca di Microsoft, Pollefeys guida un team di 25 scienziati e ingegneri in Svizzera. C’è anche un dipendente a Praga e altri 15 presso la sede centrale di Redmond (USA). "Sono orgoglioso di essere riuscito a costruire un team ben amalgamato con competenze di prim’ordine e grandi talenti", afferma Pollefeys. "È quello di cui abbiamo bisogno, perché stiamo lavorando su una tecnologia pionieristica di cui non sappiamo ancora esattamente cosa ci serve e come dobbiamo costruirla". La tecnologia si sta sviluppando rapidamente e richiede una grande flessibilità da parte del suo team.Pollefeys lavora per il 50% all’ETH e per il 50% alla Microsoft. Lavora, fa ricerca e insegna - suddivisi in mezze giornate e giornate individuali - in due sedi diverse e cambia ogni volta ufficio. "Questo rende l’organizzazione dei vari compiti più facile e strutturata per me".
Se la ricerca di soluzioni per una specifica applicazione di realtà mista è complicata, ci lavora solo con i dipendenti di Microsoft, dice Pollefeys. Tuttavia, una rigida separazione tra l’università e l’azienda tecnologica ha poco senso nella maggior parte dei casi: "Se si tratta di un problema fondamentale che richiede una soluzione generale e ha il carattere della ricerca di base, allora lavoriamo insieme a ETH e Microsoft".
A volte l’informatico si imbatte in un problema durante il suo lavoro alla Microsoft, che poi porta pienamente nell’insegnamento e nella ricerca all’ETH. "Questo di solito è molto eccitante per gli studenti - e motivante, perché sanno che si tratta di un problema reale dalla pratica".
Sia nell’ambito del suo lavoro presso Microsoft che presso il Politecnico di Zurigo, i risultati della ricerca vengono pubblicati e i codici vengono condivisi ogni volta che è possibile. Pollefeys sottolinea che lavora anche con altre aziende. "Come ricercatore, per me è importante poter mantenere un terreno neutrale". Ad esempio, la sua cattedra ha prodotto un algoritmo chiave che è servito come base per la funzione di navigazione Google Live View, ora utilizzata in tutto il mondo.
Una situazione vantaggiosa per tutti
Grazie alla collaborazione con l’ETH, Microsoft acquisisce una visione più approfondita del campo della ricerca e può quindi generare maggiore innovazione. Come team di prodotto di un’azienda, ci si muove in circoli ristretti e si ha poco tempo per sperimentare nuove cose, spiega Pollefeys. La collaborazione con l’ETH aiuta Microsoft a trovare nuovi approcci e soluzioni.Lo conferma Marc Holitscher, National Technology Officer di Microsoft Svizzera. "La nostra collaborazione con l’ETH, e con Marc Pollefeys in particolare, ha già portato a risultati eccezionali che stanno portando innovazione in vari settori e contribuiscono alla posizione della Svizzera come leader tecnologico globale", afferma Holitscher. "Insieme, continueremo a spingerci oltre i confini del possibile e a utilizzare ricerca, talento e tecnologia all’avanguardia per affrontare alcune delle sfide più urgenti del mondo."
Pollefeys sottolinea che la collaborazione con l’industria è vantaggiosa anche per l’insegnamento universitario: "Sia gli ingegneri di Microsoft che noi professori portiamo agli studenti problemi e idee attuali e offriamo loro interessanti opportunità su cui lavorare, ma anche la possibilità di sperimentare idee e conoscere nuove tecnologie applicate."
La collaborazione tra l’università e il gruppo tecnologico internazionale è una situazione vantaggiosa per tutte le parti: "Lavorare su una questione insieme agli studenti, permettendo loro di ricercare come una nuova tecnologia possa essere utilizzata per un problema specifico, è interessante sia per gli studenti che per gli sviluppatori del prodotto. Inoltre, gli studenti sono seguiti da un esperto che ha una grande conoscenza ed esperienza del prodotto e sa perché un determinato passo potrebbe essere rilevante".
Anche l’ETH trae vantaggio quando i professori hanno una conoscenza di base e una comprensione del settore, sottolinea Pollefeys. "Il mio lavoro in Microsoft mi dà una visione preziosa del processo decisionale e del funzionamento dei processi in una grande azienda. Questo aiuta a vedere l’intero sviluppo tecnologico in un contesto più ampio".
Infine, i progetti comuni servono anche a promuovere il networking all’interno dell’ETH, come Pollefeys aveva previsto quando ha assunto la cattedra a Zurigo. Attualmente sta lavorando con il suo collega Siyu Tang su un nuovo metodo di generazione di dati utilizzando avatar autonomi. "Posizionando l’HoloLens su queste figure virtuali
Otteniamo i dati di cui abbiamo bisogno per addestrare e testare gli algoritmi molto più facilmente che se camminassimo e misurassimo noi stessi le stanze con gli HoloLens".
Informazioni sulla persona
Marc Pollefeys è professore presso il Dipartimento di Informatica del Politecnico di Zurigo. Dirige anche il Microsoft Mixed Reality & AI Lab di Zurigo.Questo testo è stato pubblicato nel numero 24/02 della rivista Globe dell’ETH.
Leggi il numero completo
