ChatGPT è arrivato sulla scena pubblica alla fine del 2022, attirando più di 100 milioni di utenti nel suo primo mese. Da allora si sono moltiplicati gli esempi di come l’IA trasformerà la società negli anni a venire, dall’occupazione alla comunicazione all’istruzione.
Nell’istruzione superiore, la comunità degli studenti fa sempre più uso di assistenti AI. Se da un lato questi strumenti offrono opportunità per migliorare l’insegnamento e l’educazione, dall’altro pongono sfide significative in termini di valutazione e risultati dell’apprendimento. Finora, tuttavia, non è stato condotto alcuno studio approfondito sul loro potenziale impatto sui metodi di valutazione utilizzati dagli istituti scolastici.
In un Proceedings of the National Academy of Sciences (PNAS), i ricercatori della Facoltà di Informatica e Comunicazione dell’EPFL hanno condotto uno studio su larga scala su 50 corsi dell’EPFL per misurare le attuali prestazioni dei modelli linguistici di grandi dimensioni (LLM) nella valutazione dei corsi di istruzione superiore. I corsi selezionati fanno parte di nove programmi di laurea e master online e coprono un’ampia gamma di discipline STEM, tra cui informatica, matematica, biologia, chimica, fisica e scienza dei materiali.
Siamo stati fortunati che un ampio consorzio di professori, docenti e assistenti all’insegnamento dell’EPFL ci abbia aiutato a raccogliere il più grande insieme di dati fino ad oggi sui materiali dei corsi, sulle valutazioni e sugli esami, al fine di "ottenere una diversità di materiali per i nostri programmi di studio", spiega Antoine Bosselut, professore assistente, responsabile del Laboratorio di elaborazione del linguaggio naturale (NLP) e membro del Centro AI dell’EPFL.Antoine Bosselut, professore assistente, responsabile del Laboratorio di elaborazione del linguaggio naturale (NLP) e membro del Centro AI dell’EPFL. "Questi dati sono stati messi insieme in un formato che pensavamo potesse assomigliare di più al modo in cui gli studenti avrebbero comunicato queste informazioni ai modelli. Poi abbiamo generato le risposte dei modelli e ne abbiamo valutato l’efficacia".
Concentrandosi su GPT-3.5 e GPT-4, gli scienziati hanno utilizzato otto strategie di prompting per produrre risposte. Hanno scoperto che il GPT-4 ha risposto correttamente in media al 65,8% delle domande ed è stato in grado di fornire la risposta corretta in almeno una strategia di prompting per l’85,1% delle domande.
"Siamo rimasti sorpresi dai risultati. Nessuno si aspettava che gli assistenti AI ottenessero una percentuale così alta di risposte corrette in così tanti corsi. È importante notare che il 65% di risposte corrette è stato ottenuto utilizzando la strategia di prompting più elementare, senza alcuna conoscenza, quindi chiunque, senza capire nulla dal punto di vista tecnico, poteva azzeccarci. Con una certa conoscenza della materia, che è tipica, è stato possibile ottenere una percentuale di successo dell’85%, il che è stato un vero shock", afferma Anna Sotnikova, scienziata dell’NPL e coautrice dell’articolo.
Nessuno si aspettava che gli assistenti AI ottenessero una percentuale così alta di risposte corrette in così tanti corsi.A nna Sotnikova, scienziata presso il Laboratorio di elaborazione del linguaggio naturale
Impatto dell’IA sull’apprendimento e sullo sviluppo delle competenze degli studenti
I ricercatori hanno affrontato teoricamente i problemi di vulnerabilità legati all’uso di questi sistemi di IA da parte degli studenti. Da un lato, la vulnerabilità della valutazione, ovvero la questione se questi sistemi possano "dirottare" le valutazioni tradizionalmente utilizzate e, dall’altro, la vulnerabilità educativa, ovvero se questi sistemi possano essere utilizzati per aggirare i percorsi cognitivi tipici degli studenti per acquisire le competenze accademiche di cui hanno bisogno.In questo contesto, i ricercatori ritengono che i risultati dello studio sollevino chiari interrogativi su come garantire che gli studenti siano in grado di apprendere i concetti di base necessari per affrontare successivamente materie più complesse.
"Il timore è che, se questi modelli funzionano così bene come indichiamo, gli studenti che li utilizzano potrebbero abbreviare il processo di apprendimento di nuovi concetti. Questo potrebbe indebolire le basi di alcune competenze fin dall’inizio, rendendo più difficile l’apprendimento di concetti più complessi in seguito. Forse dobbiamo discutere su cosa dovremmo insegnare in primo luogo, per trovare le migliori sinergie tra le tecnologie che abbiamo e ciò che gli studenti faranno nei decenni a venire", afferma Antoine Bosselut.
Un altro punto chiave nello sviluppo degli assistenti AI è che non peggioreranno, ma miglioreranno. In questa ricerca, completata un anno fa, veniva utilizzato un unico modello per tutte le materie e, ad esempio, le domande di matematica ponevano particolari difficoltà. Ora esistono modelli specifici per la matematica. Gli scienziati concludono che se lo studio venisse ripetuto oggi, le cifre sarebbero ancora più alte.
Concentrarsi sulle valutazioni complesse e adattare l’istruzione
"A breve termine, dovremmo insistere affinché le valutazioni siano più difficili, non nel senso della difficoltà delle domande, ma nel senso della complessità della valutazione stessa, in cui è necessario attingere a molteplici competenze da diversi concetti appresi nel corso del semestre e riuniti in una valutazione complessiva", suggerisce Antoine Bosselut. I modelli non sono ancora stati concepiti per pianificare e lavorare in questo modo, e alla fine pensiamo che questo apprendimento da parte di ""L’intelligenza artificiale pone molte sfide agli istituti di istruzione superiore. Ad esempio: quali nuove competenze sono richieste ai futuri laureati, quali competenze stanno diventando obsolete, come possiamo fornire feedback su larga scala e come possiamo misurare la conoscenza’ Questo tipo di domande viene sollevato in quasi tutte le riunioni di gestione all’EPFL. Ciò che conta di più è che i nostri team lancino progetti che forniscano risposte basate su dati concreti al maggior numero possibile di domande", spiega Pierre Dillenbourg, vicepresidente degli Affari accademici dell’EPFL.
L’intelligenza artificiale pone molte sfide agli istituti di istruzione superiore.
P ierre Dillenbourg, Vicepresidente degli Affari accademici dell’EPFL A lungo termine, è chiaro che i sistemi educativi dovranno adattarsi. I ricercatori sperano che questo progetto in corso raggiunga gli educatori, in modo che possano applicare gli studi e le raccomandazioni a ciò che ritengono utile.
"Questo è solo l’inizio e credo che si possa fare un’analogia tra le LLM di oggi e le calcolatrici. Quando sono state introdotte per la prima volta, c’era la stessa preoccupazione che i bambini non avrebbero più imparato la matematica. Oggi, nelle prime fasi dell’istruzione, le calcolatrici non sono generalmente consentite, ma a partire dai livelli più alti sono presenti, per svolgere compiti di livello inferiore mentre gli studenti acquisiscono competenze più avanzate che dipendono da esse", aggiunge Beatriz Borges, dottoranda presso il PNL e coautrice dell’articolo.
"Penso che assisteremo a un adattamento simile e graduale, e a un’evoluzione verso la comprensione di ciò che questi sistemi possono fare per noi e di ciò che non possiamo aspettarci da loro. In definitiva, includiamo suggerimenti pratici per supportare meglio la comunità studentesca, i docenti, gli amministratori e ogni singolo individuo durante questa transizione, contribuendo a ridurre alcuni dei rischi e delle vulnerabilità descritti nell’articolo", conclude l’autrice.
Il Centro AI dell’EPFL riunisce 80 laboratori e professori. Conta 1.000 membri e apre la strada a un’IA affidabile, accessibile e inclusiva.
