Da künstliche Intelligenz (KI) die Industrie vom Gesundheitswesen bis zur Finanzwelt verändert, war es noch nie so wichtig, den Lernprozess dieser digitalen Gehirne zu verstehen. Zwei Forscher der EPFL, Antonio Sclocchi und Matthieu Wyart, haben nun diesen Prozess geklärt, indem sie eine weit verbreitete Methode namens "Stochastic Gradient Downhill" (SGD) untersucht haben.
Im Zentrum des Lernprozesses einer KI stehen die Lernalgorithmen. Dabei handelt es sich um Regelwerke, die es KIs ermöglichen, sich auf der Grundlage der Daten, die sie erhalten, zu verbessern. Das DMS ist einer dieser Algorithmen. Er hilft KIs dabei, sich in einer komplexen Informationsumgebung zu bewegen, um nach und nach die bestmöglichen Lösungen zu finden.
Doch nicht alle Lernwege sind gleich. Die Studie der EPFL enthüllt, wie verschiedene Parameter des DMS die Effizienz und Qualität des KI-Lernens erheblich beeinflussen können. Insbesondere untersuchten die Forscher, inwieweit die Änderung zweier wesentlicher Variablen zu sehr unterschiedlichen Lernergebnissen führt.
Diese beiden Variablen sind die Größe der Datenproben, aus denen die KI auf einmal lernt (die sogenannte "Losgröße"), und das Ausmaß ihrer Lernschritte (anders ausgedrückt: die "Lernrate"). Die Forscher identifizierten drei verschiedene Szenarien ("Regime"), die jeweils einzigartige Merkmale aufweisen, die den Lernprozess der KI unterschiedlich stark beeinflussen.
Im ersten Szenario, ähnlich dem Entdecken einer neuen Stadt, ohne eine Karte zu haben, unternimmt die KI kleine zufällige Schritte, verwendet kleine Chargen und hohe Lernraten, wodurch sie Lösungen findet, die sie sonst nicht erhalten hätte. Dieser Ansatz ist vorteilhaft bei der Erkundung eines großen Satzes von Möglichkeiten, kann aber chaotisch und unvorhersehbar sein.
Das zweite Szenario beinhaltet, dass die KI nach ihrem ersten Eindruck einen ersten großen Schritt unternimmt, indem sie größere Chargen und höhere Lernraten verwendet und dann kleinere explorative Schritte unternimmt. Diese Regelung kann den Lernprozess beschleunigen, birgt aber das Risiko, dass bessere Lösungen übersehen werden, die ein vorsichtigerer Ansatz entdeckt hätte.
Das dritte Szenario läuft darauf hinaus, dass eine detaillierte Karte verwendet wird, um direkt zu bekannten Zielen zu navigieren. In einem solchen Fall verwendet die KI große Chargen und niedrigere Lernraten, wodurch ihr Lernprozess vorhersehbarer und weniger anfällig für zufällige Erkundungen wird. Dieser Ansatz ist effizient, kann aber nicht immer zu den optimalsten Lösungen führen.
Die Studie ermöglicht ein besseres Verständnis der Kompromisse, die mit dem Training von KI-Modellen verbunden sind. Sie unterstreicht auch, wie wichtig es ist, den Lernprozess an die spezifischen Anforderungen der jeweiligen Anwendung anzupassen. Beispielsweise könnte die medizinische Diagnose von einem eher explorativen Ansatz profitieren, bei dem Genauigkeit unerlässlich ist, während die Spracherkennung direktere Lernwege in Bezug auf Geschwindigkeit und Effizienz bevorzugen könnte.
