Un framework di apprendimento automatico che codifica le immagini come una retina

- EN- DE- FR- IT
Confronto tra l’immagine originale (a sinistra), l’immagine elaborat
Confronto tra l’immagine originale (a sinistra), l’immagine elaborata computazionalmente senza apprendimento (al centro) e l’immagine elaborata utilizzando il modello di attore © EPFL CC BY SA
Gli scienziati dell’EPFL hanno sviluppato un metodo di apprendimento automatico per comprimere i dati delle immagini in modo più accurato rispetto ai metodi di calcolo non appresi. Questo metodo potrebbe essere utile per gli impianti retinici e altre protesi sensoriali.

Una delle sfide principali nello sviluppo di protesi neurali migliori è la codifica sensoriale. Si tratta di trasformare le informazioni raccolte dall’ambiente tramite sensori in segnali neurali che possono essere interpretati dal sistema nervoso. Tuttavia, poiché il numero di elettrodi in una protesi è limitato, questo volume di informazioni deve essere ridotto. Allo stesso tempo, la qualità dei dati trasmessi al cervello deve essere preservata.

Demetri Psaltis (Laboratorio di Ottica) e Christophe Moser (Laboratorio di Dispositivi Fotonici Applicati) hanno collaborato con Diego Ghezzi dell’Ospedale Oftalmico Jules-Gonin - Fondation Asile des Aveugles (ex cattedra Medtronic di Neuroingegneria all’EPFL) per applicare l’apprendimento automatico al problema della compressione dei dati di immagini multidimensionali, come il colore o il contrasto. Nel loro caso, l’obiettivo della compressione era il sottocampionamento, ovvero la riduzione del numero di pixel in un’immagine da trasmettere attraverso una protesi retinica.

"Il sottocampionamento per gli impianti retinici viene ora effettuato calcolando la media dei pixel, che è fondamentalmente ciò che fa il software grafico quando si vuole ridurre la dimensione di un file. Ma alla fine si tratta di un processo matematico. Non c’è bisogno di imparare", spiega Diego Ghezzi.

"Abbiamo notato che l’applicazione di un approccio basato sull’apprendimento ha prodotto risultati migliori in termini di ottimizzazione della codifica sensoriale. Ma la cosa più sorprendente è stata che quando abbiamo usato una rete neurale non vincolata, questa ha imparato a imitare da sola alcuni aspetti dell’elaborazione retinica".

In particolare, l’approccio di apprendimento automatico degli scienziati, noto come "actor model framework", si è dimostrato particolarmente efficace nel trovare un "punto ideale" per il contrasto delle immagini. Diego Ghezzi cita Photoshop come esempio. "Se si sposta il cursore del contrasto troppo in una direzione, è più difficile vedere l’immagine. La nostra rete ha sviluppato dei filtri per riprodurre alcune delle caratteristiche dell’elaborazione retinica".

I risultati sono stati recentemente pubblicati sulla rivista Nature Communications .

Convalida in silico ed ex vivo

Nel modello attore, due reti neurali lavorano in modo complementare. La parte del modello, o forward model, agisce come un gemello digitale della retina: viene prima addestrata a ricevere un’immagine ad alta risoluzione e a produrre un codice neurale binario che si avvicina il più possibile al codice neurale generato da una retina biologica. La rete di attori viene poi addestrata a sotto-campionare un’immagine ad alta risoluzione in grado di innescare un codice neurale dal modello forward, che si avvicina il più possibile al modello prodotto dalla retina biologica in risposta all’immagine originale.

Utilizzando questa struttura, gli scienziati hanno testato le immagini sottocampionate sia sul gemello digitale della retina sia su retine di topi cadaverici che erano state rimosse (espiantate) e poste in terreno di coltura. Questi due esperimenti hanno rivelato che l’approccio del modello attoriale ha prodotto immagini che hanno innescato una risposta neurale più vicina a quella dell’immagine originale rispetto a un’immagine generata da un approccio computazionale senza apprendimento, come la media dei pixel.

Nonostante le sfide metodologiche ed etiche associate all’uso di retine di topo espiantate, è questa validazione ex vivo del loro modello che rende il loro studio una vera innovazione nel campo, secondo Diego Ghezzi.

"Non possiamo fare affidamento solo sul modello computerizzato in silico. Ecco perché l’obiettivo di questi esperimenti era di convalidare il nostro approccio".

Altri orizzonti sensoriali

L’équipe ha già lavorato su protesi retiniche, ma questa è stata la prima volta che ha utilizzato il modello di attore per la codifica sensoriale. Diego Ghezzi vede il potenziale per estendere le applicazioni del framework al campo del recupero della vista e oltre. Aggiunge che sarà importante determinare in che misura il modello, che è stato convalidato con retine di topo, possa essere applicato agli esseri umani.

"Il prossimo passo ovvio è vedere come possiamo comprimere un’immagine in modo più ampio, al di là della riduzione dei pixel, in modo che l’inquadratura possa giocare con diverse dimensioni visive allo stesso tempo. Un’altra possibilità è quella di trasporre questo modello retinico agli output di altre aree cerebrali. Questo modello potrebbe anche essere associato ad altri dispositivi, come apparecchi acustici o arti protesici", conclude Diego Ghezzi.

Riferimenti

Leong, F., Rahmani, B., Psaltis, D. et al. An actor-model framework for visual sensory encoding. Nat Commun 15, 808 (2024). https://doi.org/10.1038/s41467­’024 -45105-5