Die Größe und Reichweite digitaler KI-Systeme nimmt zu, ebenso wie der Energiebedarf für ihr Training und ihren Einsatz, ganz zu schweigen von den daraus resultierenden Kohlenstoffemissionen. Laut einer aktuellen Studie könnte der jährliche Energieverbrauch von KI-Servern bis 2027 den eines kleinen Landes übersteigen, wenn die Produktion von KI-Servern im derzeitigen Tempo fortgesetzt wird. Deep Neural Networks, die sich an der Architektur des menschlichen Gehirns orientieren, sind besonders energieintensiv, da sie Millionen oder sogar Milliarden von Verbindungen zwischen den mehreren Schichten neuronaler Prozessoren aufweisen.
Um den steigenden Energiebedarf zu senken, bemühen sich Wissenschaftler verstärkt um den Einsatz von Hybridsystemen mit optischen Berechnungen, die bereits seit den 1980er Jahren im Versuchsstadium sind. Diese Systeme sind zur Datenverarbeitung auf Photonen angewiesen. Obwohl Licht theoretisch viel schneller und effizienter als Elektronen für Berechnungen eingesetzt werden kann, hat ein großes Problem verhindert, dass optische Systeme wettbewerbsfähig sind.
Unsere Methode kann in großem Maßstab implementiert werden und ist bis zu 1.000 Mal energieeffizienter als moderne tiefe digitale Netze, was sie zu einer vielversprechenden Plattform für die Realisierung optischer neuronaler Netze macht
Demetri Psaltis, Optics Laboratory
"Um die Daten in einem neuronalen Netz zu klassifizieren, muss jeder Knoten oder "Neuron" die "Entscheidung" treffen, ob er aufgrund der gewichteten Eingabedaten auslöst oder nicht. Diese Entscheidung führt zu einer nichtlinearen Transformation der Daten, was bedeutet, dass der Output nicht direkt proportional zum Input ist", sagt Christophe Moser, Leiter des Labors für angewandte photonische Geräte an der Fakultät für Ingenieurwissenschaften und -techniken der EPFL.
Christophe Moser erklärt, dass digitale neuronale Netze zwar leicht nichtlineare Transformationen mithilfe von Transistoren durchführen können, dass dieser Schritt jedoch sehr leistungsstarke Laser in optischen Systemen erfordert, um sie zu realisieren. Christophe Moser arbeitete mit den Studenten Mustafa Yildirim, Niyazi Ulas Dinc und Ilker Oguz sowie Demetri Psaltis, dem Leiter des Optiklabors , zusammen, um eine energiesparende Methode zu entwickeln, um diese nichtlinearen Berechnungen optisch durchzuführen. Ihr neuer Ansatz besteht darin, die Daten, z. B. die Pixel eines Bildes, in der räumlichen Modulation eines Laserstrahls mit geringer Leistung zu kodieren, der mehrfach an sich selbst reflektiert wird, was zu einer Vervielfachung der Pixel des Bildes führt, die eine nichtlineare Operation ist.
"Unsere Bildklassifikationsexperimente mit drei verschiedenen Datensätzen haben gezeigt, dass unsere Methode in großem Maßstab implementiert werden kann und bis zu 1.000 Mal energieeffizienter ist als moderne tiefe digitale Netze, was sie zu einer vielversprechenden Plattform für die Realisierung optischer neuronaler Netze macht", sagt Demetri Psaltis.
Unterstützt durch einen Sinergia-Zuschuss des Schweizerischen Nationalfonds zur Förderung der wissenschaftlichen Forschung, wurde diese Forschung kürzlich in einem Artikel in der Zeitschrift Nature Photonics veröffentlicht.
Eine einfache strukturelle Lösung
Photonen interagieren ihrem Wesen nach nicht direkt miteinander, wie es geladene Elektronen tun. Um nichtlineare Umwandlungen in optischen Systemen zu erreichen, mussten die Wissenschaftler die Photonen daher "zwingen", indirekt miteinander zu interagieren, z. B. indem sie Licht verwenden, das intensiv genug ist, um die optischen Eigenschaften von Glas oder einem anderen Material, durch das es hindurchgeht, zu verändern.
Die Wissenschaftler umgingen die Notwendigkeit eines Hochleistungslasers mit einer einfachen Lösung: Sie kodierten die Pixel eines Bildes räumlich in die Oberfläche eines Laserstrahls mit geringer Leistung ein. Wenn man diese Codierung zweimal durchführt und den Strahlengang im Codierer anpasst, werden die Pixel mit sich selbst multipliziert, also quadriert. Da die Quadrierung eine nichtlineare Transformation ist, konnte durch diese strukturelle Änderung die Nichtlinearität, die für die Berechnung neuronaler Netze entscheidend ist, zu einem Bruchteil der Energiekosten erreicht werden. Diese Codierung kann zwei-, drei-, zehnmal durchgeführt werden, wodurch diese nichtlineare Transformation und die Genauigkeit der Berechnung erhöht werden.
"Wir glauben, dass mit unserem System die Energie, die benötigt wird, um eine Multiplikation optisch zu berechnen, um acht Größenordnungen geringer ist als die Energie, die für ein elektronisches System benötigt wird", sagt Demetri Psaltis.
Christophe Moser und Demetri Psaltis betonen, dass ihr energiesparender Ansatz in großem Maßstab implementiert werden kann, was ein großer Vorteil ist, da das Endziel darin bestehen würde, elektronische und optische Hybridsysteme zu verwenden, um den Energieverbrauch digitaler neuronaler Netze zu senken. Allerdings sind weitere ingenieurwissenschaftliche Forschungen erforderlich, um diese Skalierbarkeit zu ermöglichen. Da optische Systeme beispielsweise eine andere Hardware als elektronische Systeme verwenden, besteht ein nächster Schritt, an dem die Wissenschaftler bereits arbeiten, in der Entwicklung eines Compilers, der die digitalen Daten in einen Code umwandelt, der von optischen Systemen genutzt werden kann.
Referenzen
Yildirim, M., Dinc, N. U., Oguz, I., Psaltis, D., & Moser, C. (2023). Nonlinear Processing with Linear Optics. arXiv preprint arXiv:2307.08533.Die Forscherinnen und Forscher stellen fest, dass die strukturelle Nichtlinearität kürzlich mithilfe einer anderen Implementierungsmethode von Cao et al. von der Yale University berichtet wurde.
