KI: "Der nächste grosse Sprung wird aus der Vielfalt der Quellen kommen"

Antoine Bosselut ist Leiter des Labors für die Verarbeitung natürlicher Sprache an der EPFL und verfolgt die Entwicklung von Werkzeugen der generativen künstlichen Intelligenz wie ChatGPT genau. Er kommentiert ihre Entwicklung in den letzten zwei Jahren und spricht über Wege für die Zukunft

Wir haben vor zwei Jahren miteinander gesprochen, als ChatGPT gerade erst veröffentlicht wurde. Können Sie rückblickend bestätigen, dass dies der Beginn einer neuen Ära war?

Ja, man kann sagen, dass der "ChatGPT-Moment" einen Paradigmenwechsel im Bereich der künstlichen Intelligenz markiert hat, und zwar auf zwei Ebenen. Erstens in technischer Hinsicht: Wir sind von aufgabenorientierten zu anweisungsorientierten Werkzeugen übergegangen. Die vorherigen Modelle waren auf bestimmte Bereiche und Funktionen beschränkt, und ihre Abfrage erforderte Spezialwissen. ChatGPT hat dies geändert, nicht nur, indem er den Umfang seines Wissens vervielfachte, sondern vor allem, indem er jedem die Möglichkeit bot, ihm Anweisungen zu erteilen. Davon ausgehend war die Veränderung vor allem in der Wahrnehmung radikal: Die breite Öffentlichkeit verstand, dass KIs in viele Aspekte des täglichen Lebens integriert werden können.

Die Konkurrenz liess nicht lange auf sich warten und brachte ihre eigenen Konversationsagenten auf den Markt. War OpenAI seiner Zeit wirklich voraus?

Viele Unternehmen arbeiteten bereits an ähnlichen Ansätzen. Anthropic zum Beispiel, der Entwickler von Claude, war ein Jahr zuvor von ehemaligen OpenAI-Mitarbeitern gegründet worden... Bei Google verfolgte man mehrere Wege parallel, merkte aber, dass das Modell von ChatGPT besser funktionierte - und vor allem, dass OpenAI eine Technologie in ein Produkt verwandelt hatte, dessen Leistung die Erwartungen übertraf. Das war ein Massstab für die Reife dieses Ansatzes und löste bei allen grossen Tech-Akteuren ein Umdenken aus

Ist DeepSeek, das Ende 2024 auf den Markt kommen soll, wirklich anders?

Es ist noch zu früh, um zu sagen, ob es wirklich besser ist und ob es wirklich billiger war. Es waren die angeblich niedrigen Entwicklungskosten, die den Hype ausgelöst haben, mehr als die neuen Fähigkeiten... Seine Entwickler haben jedoch nur die Zahlen für die letzte Trainingsphase angegeben. Wir wissen nicht, wie viel die vorherigen Phasen gekostet haben. Die Tatsache, dass es sich um "Open Source" handelt, ist ebenfalls fragwürdig. Man kann zwar seinen Code verwenden, um ihn in Anwendungen zu integrieren oder weiterzuentwickeln, aber man weiss nicht wirklich, worauf er basiert, da seine Quellen nicht offengelegt wurden. Man weiss nicht, worauf man aufbaut.

Es gibt einen gigantischen Investitionswettlauf im Bereich der KI: 500 Milliarden in den USA, 200 Milliarden in Europa... Wofür wird all dieses Geld verwendet?

Meine Einschätzung ist, dass wir, wenn wir das Geld jetzt nicht investieren, es später für die gleichen Dienstleistungen ausgeben werden, nur eben anderswo... Der Einsatz generativer KI wird sich in vielen Bereichen durchsetzen und zum Alltag werden. Wenn es Europa nicht gelingt, überzeugende Lösungen zu entwickeln, werden sich die Nutzer an amerikanische oder chinesische Dienste wenden, mit allen damit verbundenen Risiken für die Souveränität.

die breite Öffentlichkeit hat verstanden, dass sich KI in viele Aspekte des täglichen Lebens integrieren lassen wird.

Antoine Bosselut, Leiter des Labors für die Verarbeitung natürlicher Sprache an der EPFL

Und was ist mit der Schweiz?

Die Eidgenössischen Technischen Hochschulen sind gut darin, die Spezialisten von morgen auszubilden, solide theoretische Grundlagen zu entwickeln und diese der Gesellschaft zur Verfügung zu stellen, um ihr eine Alternative zu bieten, der sie vertrauen kann. In diesem Sektor ist es genau das, was die Swiss AI Initiative und das Swiss National AI Institute tun - diese jungen Menschen auszubilden und sie sichtbar zu machen, wenn die Unternehmen ihr Talent brauchen.

Kommen wir zurück zur Funktionsweise der grossen Modelle. Besteht die Gefahr, dass die Verschmutzung von Trainingsdaten - insbesondere durch Daten, die selbst durch KI generiert wurden - die Qualität der Daten verschlechtert?

Es gibt ein theoretisches Risiko. Aber paradoxerweise sind die synthetischen Daten, die als Quellen dienen, dank der Filter und der Bereinigung der Ergebnisse, die parallel dazu entwickelt werden, von sehr hoher Qualität. Umgekehrt können viele Inhalte, die ohne Filter von Menschen generiert werden, falsch oder verzerrt sein. Es ist also schwer zu sagen, ob diese Befürchtung gerechtfertigt ist.

In welchen Bereichen werden sich generative KIs in den nächsten Jahren hauptsächlich durchsetzen?

Ich denke, es ist einfacher, über die Bereiche nachzudenken, in denen sie es nicht tun werden... Es gibt Bereiche - Gesundheit, Militärtechnologie, vertrauliche Informationen -, in denen die Daten so sensibel sind, dass man sie nicht unbedingt auf die Server werfen kann, auf denen diese Tools installiert sind. Die Frage des Vertrauens in die Werkzeuge und ihre Besitzer wird die Verantwortlichen noch viele Jahre lang beschäftigen

Alle zwei bis drei Jahre ist in diesem Bereich ein Technologiesprung zu beobachten. Welcher wird der nächste sein?

Obwohl die Fähigkeiten der Modelle immer schneller werden, sind sie immer noch grundlegend textbasiert. Konkret bedeutet das, dass heute alles auf einem Vokabular von etwa 50 000 Wörtern basiert. Das kann ausreichen, um den Menschen, die die Maschine benutzen, den Eindruck zu vermitteln, dass die Maschine zu logischem Denken fähig ist. Aber das menschliche Denken ist viel komplexer, es nutzt auch andere Wahrnehmungen - Geräusche, Bilder oder sogar Gerüche. Ich denke, die nächste grosse Entwicklung wird eintreten, wenn es auch Modellen gelingt, andere Arten von Inhalten wie Bilder, Töne und Videos direkt zu integrieren. Diese "multimodale KI" wird dann noch näher an ein künstliches "Denken" herankommen - auch wenn ihre Definition eher philosophisch als technisch bleibt.