ChatGPT trat Ende 2022 auf die Öffentliche Bühne und zog bereits im ersten Monat über 100 Millionen Nutzerinnen und Nutzer an. Seitdem gibt es immer mehr Beispiele dafür, wie KI die Gesellschaft in den kommenden Jahren verändern wird, von der Beschäftigung über die Kommunikation bis hin zur Bildung.
In der Hochschulbildung setzt die Studentenschaft zunehmend KI-Assistenten ein. Obwohl diese Werkzeuge Möglichkeiten zur Verbesserung von Unterricht und Bildung bieten, stellen sie auch große Herausforderungen an die Bewertung und die Lernergebnisse. Bisher gab es jedoch keine umfassende Untersuchung ihrer potenziellen Auswirkungen auf die von Bildungseinrichtungen verwendeten Bewertungsmethoden.
In einem Proceedings of the National Academy of Sciences (PNAS) haben Forscherinnen und Forscher der Fakultät für Informatik und Kommunikation der EPFL eine groß angelegte Studie über 50 Kurse der EPFL durchgeführt, um die aktuelle Leistung von großen Sprachmodellen (LLM) bei der Bewertung von Kursen im Hochschulbereich zu messen. Die Kurse, die ausgewählt wurden, sind Teil von neun Online-, Bachelor- und Masterprogrammen und decken eine breite Palette von STEM-Disziplinen ab, darunter Informatik, Mathematik, Biologie, Chemie, Physik und Materialwissenschaften.
"Wir hatten das Glück, dass ein großes Konsortium von Professoren, Professorinnen, Dozenten, Dozentinnen und Lehrassistenten der EPFL uns dabei geholfen hat, den bisher umfangreichsten Datensatz über Kursmaterialien, Bewertungen und Prüfungen zu sammeln, um ?eine Vielfalt an Materialien für unsere Studiengänge zu erhalten", erklärt Antoine Bosselut, Assistenzprofessor, Leiter des Labors für die Verarbeitung natürlicher Sprache (NLP) und Mitglied des KI-Zentrums der EPFL. "Diese Daten wurden in einem Format gesammelt, das unserer Meinung nach am ehesten der Art und Weise ähneln würde, wie die Studentinnen und Studenten diese Informationen an die Modelle weitergeben würden. Anschließend haben wir Antworten aus den Modellen generiert und beobachtet, inwieweit sie darauf reagieren."
Mit Fokus auf GPT-3.5 und GPT-4 verwendeten die Wissenschaftler acht Prompting-Strategien, um Antworten zu produzieren. Sie stellten fest, dass GPT-4 im Durchschnitt 65,8 % der Fragen richtig beantwortet und sogar in mindestens einer Prompting-Strategie für 85,1 % der Fragen die richtige Antwort liefern kann.
"Wir waren von den Ergebnissen überrascht. Niemand hatte erwartet, dass die KI-Assistenten in so vielen Kursen einen so hohen Prozentsatz an richtigen Antworten erhalten würden. Es ist wichtig zu beachten, dass die 65% richtigen Antworten mithilfe der grundlegendsten Prompting-Strategie ohne Wissen erzielt wurden, sodass jeder, der technisch nichts verstanden hat, es schaffen konnte. Mit etwas Fachwissen, was typisch ist, war es möglich, eine Trefferquote von 85% zu erreichen, was wirklich ein Schock war", sagt Anna Sotnikova, Wissenschaftlerin am NPL und Koautorin des Artikels.
Niemand hatte erwartet, dass die KI-Assistenten in so vielen Kursen einen so hohen Prozentsatz an richtigen Antworten erhalten würden.
Anna Sotnikova, Wissenschaftlerin am Labor für die Verarbeitung natürlicher Sprache
Auswirkungen von KI auf das Lernen und die Kompetenzentwicklung von Studierenden.
Die Forscherinnen und Forscher haben die Verwundbarkeitsprobleme, die mit der Nutzung von KI-Systemen durch Studentinnen und Studenten verbunden sind, theoretisch begründet. Zum einen die Bewertungsanfälligkeit oder die Frage, ob diese Systeme die traditionell verwendeten Bewertungen "aushebeln" können, und zum anderen die Bildungsanfälligkeit, d. h. ob diese Systeme dazu verwendet werden können, die typischen kognitiven Wege zu umgehen, die Studentinnen und Studenten beim Erwerb der benötigten akademischen Kompetenzen beschreiten.In diesem Zusammenhang sind die Forscherinnen und Forscher der Ansicht, dass die Ergebnisse der Studie klare Fragen aufwerfen, wie sichergestellt werden kann, dass Schülerinnen und Schüler in der Lage sind, die grundlegenden Konzepte zu lernen, die sie benötigen, um später komplexere Themen zu erfassen.
"Die Befürchtung ist, dass, wenn diese Modelle so gut sind wie von uns angegeben, die Schülerinnen und Schüler, die sie verwenden, den Prozess des Erlernens neuer Konzepte verkürzen könnten. Dies könnte die Grundlagen bestimmter Fähigkeiten von Anfang an schwächen und es später schwieriger machen, komplexere Konzepte zu erlernen. Vielleicht müssen wir darüber diskutieren, was wir in erster Linie lehren sollten, um die besten Synergien zwischen den uns zur Verfügung stehenden Technologien und dem, was die Schülerinnen und Schüler in den kommenden Jahrzehnten tun werden, zu finden", sagt Antoine Bosselut.
Ein weiterer Schlüsselpunkt bei der Entwicklung von KI-Assistenten ist, dass sie sich nicht verschlechtern, sondern nur verbessern werden. In dieser Forschung, die vor einem Jahr abgeschlossen wurde, wurde ein einziges Modell für alle Fächer verwendet, und zum Beispiel bereiteten die Mathematikfragen besondere Schwierigkeiten. Nun gibt es spezielle Modelle für das Fach Mathematik. Die Wissenschaftler kamen zu dem Schluss, dass die Zahlen noch höher ausfallen würden, wenn die Studie heute erneut gestartet würde.
Fokus auf komplexe Bewertungen und Anpassung der Bildung.
"Kurzfristig sollten wir darauf bestehen, dass die Bewertungen schwieriger werden, nicht im Sinne der Schwierigkeit der Fragen, sondern im Sinne der Komplexität der Bewertung selbst, bei der vielfältige Kompetenzen aus verschiedenen Konzepten abgeleitet werden müssen, die im Laufe des Kurses während des Semesters gelernt werden und die in einer Gesamtbewertung zusammengefasst werden", schlägt Antoine Bosselut vor. Die Modelle sind noch nicht wirklich darauf ausgelegt, auf diese Weise zu planen und zu arbeiten, und letztlich glauben wir, dass dieses Lernen durch "?"KI stellt Hochschulen vor viele Herausforderungen. Zum Beispiel: Welche neuen Fähigkeiten werden von zukünftigen Absolventen benötigt, welche Fähigkeiten veralten, wie können wir ein breites Feedback geben und wie können wir Wissen messen? Fragen wie diese werden in fast jeder Führungssitzung an der EPFL gestellt. Am wichtigsten ist es, dass unsere Teams Projekte starten, die auf möglichst viele dieser Fragen evidenzbasierte Antworten liefern", erklärt Pierre Dillenbourg, Vizepräsident für akademische Angelegenheiten an der EPFL.
Die KI stellt Hochschulen vor zahlreiche Herausforderungen.
Pierre Dillenbourg, Vizepräsident für akademische Angelegenheiten an der EPFL
Auf längere Sicht ist klar, dass sich die Bildungssysteme anpassen müssen. Die Forscherinnen und Forscher wünschen sich, dass das laufende Projekt die Erzieherinnen und Erzieher erreicht, damit sie die Studien und Empfehlungen auf das anwenden, was sie für sinnvoll halten.
"Das ist erst der Anfang und ich denke, man kann eine Analogie zwischen den heutigen LLM und den Taschenrechnern ziehen. Als sie eingeführt wurden, gab es die gleichen Bedenken, dass die Kinder nicht mehr Mathematik lernen würden. Heute sind Taschenrechner in den frühen Phasen der Bildung in der Regel nicht erlaubt, aber ab den höheren Stufen sind sie vorhanden, um Aufgaben auf niedrigerem Niveau zu erledigen, während die Schülerinnen und Schüler fortgeschrittene Fähigkeiten erwerben, die von ihnen abhängen", fügt Beatriz Borges, Doktorandin am NLP und Koautorin des Artikels, hinzu.
"Ich denke, wir werden eine ähnliche, schrittweise Anpassung und eine Entwicklung hin zu einem Verständnis dafür erleben, was diese Systeme für uns tun können und was wir nicht von ihnen erwarten können. Letztendlich schließen wir praktische Vorschläge ein, wie wir die Studentenschaft, den Lehrkörper, die Administratoren und jeden Einzelnen während dieser Umstellung besser unterstützen und gleichzeitig dazu beitragen können, einige der in dem Artikel beschriebenen Risiken und Schwachstellen zu verringern", schließt sie.
DasKI-Zentrum der EPFL vereint 80 Labore und Professoren. Es hat 1000 Mitglieder und ebnet den Weg für eine zuverlässige, zugängliche und integrative KI.
