KI oder Lehrer? Schülerinnen und Schüler bevorzugen die menschliche Beurteilung

Eine Studie der EPFL zeigt, dass Schülerinnen und Schüler gegenüber KI-Feedback beim Lernen vorsichtig sind, was die Komplexität der Integration von KI-Feedback in Bildungsfeedbacksysteme unterstreicht.

Feedback (oder "Rückmeldung") spielt beim Lernen eine große Rolle. Es ermöglicht dem Einzelnen, seine Leistungen zu verstehen und zu verbessern. Aufgrund der Größe und Vielfalt der weltweiten Studentengemeinschaften ist es jedoch oft schwierig, zeitnahes und personalisiertes Feedback zu geben.

Die jüngsten Fortschritte der generativen künstlichen Intelligenz bieten eine Lösung für diese Herausforderungen, aber die meisten Studien zielen hauptsächlich auf technologische Aspekte wie die Genauigkeit der Modelle ab und lassen oft die sozio-emotionalen Aspekte der Akzeptanz von KI außer Acht.

Forscherinnen und Forscher des Laboratoriums für maschinelles Lernen in der Bildung (ML4ED), das der Fakultät für Informatik und Kommunikation (IC) der EPFL angegliedert ist, untersuchten den Einfluss der Identität der Feedbackquelle auf die Wahrnehmung von Feedback durch die Schülerinnen und Schüler.

In ihrem Artikel mit dem Titel AI or Human? Evaluating Student Feedback Perceptions in Higher Education , der diese Woche auf der European Conference on Technology Supported Learning vorgestellt wurde , beschreiben die Forscherinnen und Forscher , wie mehr als 450 Schülerinnen und Schüler der EPFL aus verschiedenen akademischen Stufen und Programmen personalisiertes Feedback in einem authentischen Bildungskontext bewerteten, bevor und nachdem sie erfahren hatten, woher es kam - von einem Menschen oder einer KI.

"Unsere Forschung hat gezeigt, dass die Schülerinnen und Schüler keinen Unterschied in der Qualität oder Freundlichkeit wahrnehmen, bis sie wissen, ob sie von einem Menschen oder der KI Feedback erhalten. Sobald sie herausfinden, dass das Feedback von der KI kommt, senken sie den Wert der KI oder erhöhen den Wert des Menschen, was uns zeigt, dass sie der KI nicht vertrauen", erklärt Professor Tanja Käser, Leiterin des ML4ED-Labors.

Die Teilnehmerinnen und Teilnehmer der Studie wurden auch gebeten, die Herkunft des Feedbacks zu erraten. Insgesamt 274 von 457 Teilnehmerinnen und Teilnehmern errieten, welches Feedback von einem Menschen stammte und welches von der KI generiert wurde. Die Forscherinnen und Forscher stellten fest, dass weder das Alter noch das Geschlecht einen signifikanten Einfluss auf die richtigen Antworten hatten, wohl aber die Art der Aufgabe im Kurs. Die Schülerinnen und Schüler erkannten das von der KI erzeugte Feedback bei Codierungsprojekten leichter als bei kurzen Aufgaben zur logischen Demonstration.

Die Forscherinnen und Forscher sind der Ansicht, dass eine der wichtigsten Fragen, die die Studie aufwirft, darin besteht, wie sich das wahrgenommene Vertrauen in die KI als Feedbackquelle auf die tatsächliche Umsetzung dieses Feedbacks in den Klassenzimmern auswirken kann.

"Das hat wichtige Auswirkungen auf das Lernen. Gutes Feedback zeigt Ihnen, was Sie richtig oder falsch gemacht haben und was die nächsten Schritte sind, die Sie unternehmen können. Wenn Sie weniger bereit sind, das Feedback, das Sie erhalten, zu beachten, weil es von der KI kommt und Sie ihr nicht vertrauen, werden Sie weniger Chancen haben, Ihr Lernen zu verbessern, wenn in den Klassenzimmern mehr dieser Modelle integriert werden", erklärt Tanya Nazaretsky, Postdoc-Forscherin am ML4ED-Labor und Hauptautorin des Artikels.

Offensichtlich spielt die KI eine wichtige Rolle bei der Unterstützung des Lernens in den Bildungssystemen, und es gibt eine starke Bereitschaft, sie zu akzeptieren. Die Studie hat jedoch einige Bedenken hervorgehoben, insbesondere in Bezug auf mangelnde Transparenz und Rechenschaftspflicht, Verletzungen der Privatsphäre und Datenquellen zum Trainieren von KI.

"Die Fähigkeit der KI, den tatsächlichen Kontext des Lernens außerhalb ihrer Grenzen zu verstehen, war ein wichtiges Anliegen. Viele Schülerinnen und Schüler äußerten sich wie folgt: "Die KI kennt mich nicht als Person, sie sieht nur, was im System ist, aber es gibt noch andere Faktoren, die für den Lernprozess wichtig sind und die die KI nicht sehen kann. Trotz des Willens, KI zu akzeptieren, gibt es einen echten Mangel an Vertrauen, was die Einführung von KI in der Praxis behindert", fährt Tanya Nazaretsky fort.

Tanja Käser sagt, dass die klare Präferenz für menschliches Feedback im Nachhinein unerwartet war, aber sie offenbart, dass die Akzeptanz und Integration von KI in Lernumgebungen noch viel mehr Forschung erfordert.

"Angenommen, die KI ist perfekt, müssen wir noch zeigen, wie sie angepasst und perfekt in die Lehrpläne und den Unterricht integriert werden kann. Eine der wichtigsten Schlussfolgerungen dieses Artikels ist, dass wir niemals den menschlichen Aspekt vergessen dürfen".

"AI or Human? Evaluating Student Feedback Perceptions in Higher Education "wurde kürzlich auf der ECTEL 2024, der ⁹. europäischen Konferenz für technologiegestütztes Lernen, als bester Forschungsartikel ausgezeichnet.