Trasformando una cucina in un laboratorio di movimento, il professore dell’EPFL Alexander Mathis propone un nuovo modo di osservare, quantificare e modellare la mobilità umana in tutta la sua complessità.
Non c’è posto migliore della cucina per esplorare in dettaglio il movimento umano. È questa la sfida di Alexander Mathis, professore assistente presso gli istituti Brain Mind e Neuro-X dell’EPFL. In collaborazione con un team multidisciplinare dell’EPFL, dell’EPFZ e del Microsoft Joint Swiss Research Center, lo specialista di neuroscienze computazionali ha sviluppato il dataset EPFL-Smart-Kitchen-30. Questo dataset, unico nel suo genere, è stato creato da un gruppo di ricercatori che si sono occupati di studiare il movimento umano in cucina. Questo set di dati, unico al mondo nel suo genere, fornisce una registrazione estremamente esaustiva dei gesti compiuti durante la preparazione dei pasti, ripresi da più angolazioni. Il lavoro sarà presentato alla conferenza NeurIPS di San Diego all’inizio di dicembre. Il lavoro apre la strada a un migliore monitoraggio degli effetti della neuro-riabilitazione nella vita quotidiana e allo sviluppo di strategie terapeutiche più efficaci per la riabilitazione e l’assistenza delle funzioni motorie. Si basa sulla ricerca condotta all’EPFL da Friedhelm Hummel e Solaiman Shokur.
L’obiettivo del progetto è monitorare, in modo dettagliato ma non intrusivo, il modo in cui le persone eseguono i movimenti quotidiani, in situazioni il più possibile simili alla vita reale. L’obiettivo è modellare le componenti motorie e cognitive dei nostri movimenti, per comprendere meglio come sono organizzati il movimento, la coordinazione e la pianificazione delle azioni. Le applicazioni potenziali sono molte, dalle neuroscienze fondamentali e traslazionali all’apprendimento automatico, anche in campo medico.
Perché la cucina? "Prima di tutto, c’è la questione della privacy", spiega Alexander Mathis. Di tutte le stanze della casa, la cucina è quella che pone meno problemi L’altra ragione è più scientifica. "In cucina si compiono un’infinità di movimenti: si cammina, si sta in punta di piedi, si aprono le porte, si maneggiano coltelli, pentole e imballaggi. C’è la coordinazione occhio-mano, la pianificazione - preparare tutti gli ingredienti al momento giusto - e persino l’espressione del proprio stile personale. Sono coinvolti tutto il corpo e il cervello"
Per passare dall’intuizione ai dati, il team ha costruito una vera e propria cucina strumentata nel Campus Biotech. un "progetto che sobbolle da tempo", come ama scherzare Alexander Mathis, EPFL-Smart-Kitchen-30 si basa su una piattaforma di acquisizione unica: nove telecamere fisse RGB-D sono state posizionate intorno alla stanza, in modo che le mani dei soggetti siano sempre visibili da diverse angolazioni; un auricolare HoloLens 2 filma in visione soggettiva, rendendo possibile seguire la traiettoria dello sguardo; unità di misura inerziali catturano i movimenti del corpo e delle mani. anche alcuni elementi della cucina sono strumentati", spiega il ricercatore. Ad esempio, abbiamo installato un accelerometro sulla porta del frigorifero. Questo ci ha permesso di misurare la velocità di apertura e la fluidità o l’esitazione del gesto"
In cucina si compie un’infinita varietà di movimenti: si cammina, si sta in punta di piedi, si aprono le porte, si maneggiano coltelli, padelle, confezioni... Tutto il corpo e il cervello sono coinvolti.
Alexander Mathis, professore assistente presso gli istituti Brain Mind e Neuro-X dell’EPFL
Omelette, ratatouille, pad thaï
In totale, il set di dati contiene quasi 30 ore di registrazioni. Le 16 persone osservate - uomini e donne di età compresa tra i 20 e i 46 anni - hanno preparato quattro ricette diverse, ogni preparazione è stata ripetuta più volte per osservare l’evoluzione dei gesti con la pratica. Il menu prevedeva un’omelette con insalata, una ratatouille e un pad thai. quest’ultima è stata una buona scelta, in quanto si trattava di un piatto nuovo per alcuni, in particolare per i partecipanti più anziani", osserva Alexander Mathis. Ci è voluto un po’ di tempo per abituarsi" Ognuno di questi piatti combina gesti semplici con vincoli di tempo: si tiene d’occhio il processo di cottura mentre si prepara una salsa, anticipando ciò che verrà dopo e adattandosi agli imprevisti.
Uno dei punti di forza del progetto è la precisione dell’annotazione. Ogni sessione è stata analizzata da annotatori umani, che hanno descritto continuamente i gesti della persona ripresa. Sono stati definiti circa 768 tipi di azione, che vanno da gesti molto concreti - "prendi la melanzana", "prendi il coltello", "taglia la melanzana" - a categorie più generali, come "prepara gli ingredienti" o "pulisci la superficie di lavoro". Il risultato: una media di oltre 30 segmenti di azione al minuto.
Questo materiale confluisce in quattro modelli di riferimento principali, progettati per testare le capacità dei modelli di intelligenza artificiale, in particolare per quanto riguarda la visione-linguaggio, il riconoscimento multimodale delle azioni, la segmentazione basata sulla posa e la generazione di testo-movimento. Quest’ultima consiste nel collegare istruzioni verbali a traiettorie 3D. L’apprendimento di questo legame tra linguaggio e movimento è cruciale se i sistemi di assistenza o i robot devono realmente comprendere ciò che viene loro richiesto.
I test dimostrano che questa sfida è ancora lontana dall’essere vinta. "Nel riconoscimento delle azioni, i migliori modelli di IA attuali raggiungono un’accuratezza del 40% circa", osserva Alexander Mathis. In altre parole, sono ancora lontani dal poter analizzare automaticamente una sessione di cucina con l’affidabilità necessaria per le applicazioni cliniche. Ma il ricercatore rimane fiducioso: "Sono sicuro che tra un anno o due saranno molto meglio. L’IA sta progredendo molto rapidamente e questo tipo di riferimento la aiuterà a raggiungere nuovi traguardi"
Aiutare le persone che hanno subito danni alla salute
Dietro queste cifre si nasconde un obiettivo molto concreto: aiutare le persone che hanno subito danni alla salute a recuperare la piena mobilità. Tra i partner del progetto, il lavoro di Friedhelm Hummel, Cattedra della Fondazione Defitech in Neuroingegneria Clinica e Interazione Uomo-Computer, si concentra sul recupero delle persone colpite da ictus e sulle terapie personalizzate. Presso il Translational Engineering Laboratory, il neuroingegnere Solaiman Shokur sta lavorando a interfacce che aiutino le persone a recuperare movimenti più naturali dopo gravi lesioni.
prendiamo il caso di una persona che si sta riprendendo da un ictus", spiega Friedhelm Hummel. Oggi potremmo chiedere loro di alzare il braccio, ad esempio, e assegnargli un punteggio per questo gesto. Ma osservando il modo in cui cucina, scopriremo molte più informazioni sulla sua vita quotidiana. Evita certi gesti? Impiega molto più tempo per fare cose che dovrebbero essere semplici? Sta raggiungendo gli obiettivi che si è prefissata nella preparazione di questo pasto?
L’idea finale è quella di poter collegare automaticamente questo comportamento naturale ai punteggi clinici esistenti, o addirittura di inventarne di nuovi. Tali indicatori potrebbero un giorno essere utilizzati per monitorare i progressi della riabilitazione domiciliare, basandosi ad esempio su un’ora di cucina analizzata ogni settimana.
Al di là delle questioni di salute, Alexander Mathis è anche interessato a ciò che fa la differenza tra un gesto ordinario e un gesto esperto. "Come si fa a cucinare come uno chef, come si fa a suonare la chitarra come un musicista eccezionale? Tra il paziente in riabilitazione e l’esperto, c’è un intero continuum di controllo motorio che vorremmo descrivere" Un secondo studio, già in preparazione, coinvolgerà un numero maggiore di partecipanti, con un’attenzione particolare alla competenza.
