Bild: NeuroMechflyv2 bewegt sich in einer dynamischen Umgebung mit Hindernissen. Dank dieser neuen sensorischen und motorischen Fähigkeiten ist das Modell in der Lage, sich in dieser Umgebung zu bewegen. Credit: Pavan Ramdya Laboratory, EPFL.
Alle Tiere, ob groß oder klein, müssen sich mit unglaublicher Präzision bewegen, um angemessen mit der Welt zu interagieren. Zu verstehen, wie das Gehirn die Bewegung steuert, ist eine grundlegende Frage der Neurowissenschaften. Für größere Tiere ist dies aufgrund der Komplexität und Redundanz ihres Nervensystems schwierig. Die Fruchtfliege Drosophila melanogaster hat jedoch ein kleineres Gehirn und ist daher leichter zu kartieren, sodass Wissenschaftler umfassendere Informationen darüber erhalten können, wie ihr Nervensystem das Verhalten steuert.
Um zu verstehen, wie das Nervensystem Handlungen steuert, haben Forscherinnen und Forscher des Teams von Pavan Ramdya an der EPFL eine virtuelle Welt geschaffen, in der eine Fliege so funktionieren und reagieren kann, wie es echte Fliegen tun. Dieses Programm mit dem Namen NeuroMechFly v2 implementiert ein neuromechanisches Modell, das über die motorischen Grundfunktionen hinausgeht. Durch die Integration von Seh- und Geruchssinn und einem motorischen Feedback in komplexem Gelände simuliert NeuroMechFly v2, wie sich eine Drosophila in ihrer Umgebung bewegen würde, während sie auf Bilder, Gerüche und Hindernisse reagiert.
Simulation der Sinne und Aufgaben des realen Lebens.
Die Forschung von Pavan Ramdya konzentrierte sich auf die digitale Nachbildung der Prinzipien, die der motorischen Kontrolle von Drosophila zugrunde liegen. Im Jahr 2019 veröffentlichte sein Team DeepFly3D , eine Software, die mithilfe von Deep Learning die Bewegung der Beine der Fliege aus Bildern mehrerer Kameras erfasst. Im Jahr 2021 stellte das Team von Pavan Ramdya LiftPose3D vor , eine Methode zur 3D-Rekonstruktion von Tierposen aus Bildern, die mit einer einzigen Kamera aufgenommen wurden. Diese Bemühungen wurden durch die Veröffentlichung von NeuroMechFly , einem ersten digitalen "Zwilling" von Drosophila, im Jahr 2022 vervollständigt.Mit der zweiten Version von NeuroMechFly haben die Forscherinnen und Forscher detaillierte Merkmale hinzugefügt, die die tatsächliche Anatomie und Physiologie der Fliege nachahmen. Beispielsweise haben sie mithilfe von Videos echter Fliegen die Position und den Gang des Modells sorgfältig angepasst, damit sie besser mit der Biomechanik der tatsächlichen Bewegungen von Fruchtfliegen übereinstimmen. Das "Gehirn" des Modells kann nun visuelle und olfaktorische Informationen über virtuelle Antennen und Augen verarbeiten und bietet ihm so ein sensorisches Erlebnis, das dem einer echten Drosophila sehr nahe kommt.
Diese Konfiguration ermöglicht es NeuroMechFly v2, verschiedene Kontrollstrategien für reale Aufgaben zu simulieren, wie z. B. das Laufen auf unebenem Gelände oder das Drehen als Reaktion auf Gerüche und visuelle Signale. Das Team hat gezeigt, dass das Modell in der Lage ist, komplexe Aufgaben zu lösen, die denen ähneln, die echten Fruchtfliegen begegnen. Beispielsweise kann das Modell einem sich bewegenden Objekt visuell folgen oder sich auf eine Geruchsquelle zubewegen, während es Hindernissen auf seinem Weg ausweicht.
Modellierung der neuronalen Aktivitäten zum Verständnis der Schlüsselverhaltensweisen von Fruchtfliegen.
NeuroMechFly ermöglicht es den Forscherinnen und Forschern auch, die Aktivität der Neuronen im Gehirn zu simulieren, indem sie die Erfahrungen der Fliegen in der virtuellen Welt nutzen. "Durch die Verknüpfung von NeuroMechFly v2 mit einem kürzlich veröffentlichten Computermodell des visuellen Systems der Fliege , können die Forscherinnen und Forscher nicht nur lesen, was die Fliege in der simulierten Umgebung sieht, sondern auch, wie die echten Neuronen reagieren könnten", erklärt Sibo Wang-Chen, der die Forschung leitete.Anhand der Aktivität dieser Neuronen und ihrer zeitlichen Entwicklung modellierten die Wissenschaftler, wie die Fliege eine andere Fliege, z.B. bei der Balz, auf biologisch plausible Weise verfolgen könnte. Dies war dank des hierarchischen Kontrollsystems des Modells möglich, das es den "Gehirn"-Funktionen auf höherer Ebene ermöglicht, mit den motorischen Funktionen auf niedrigerer Ebene zu interagieren - eine Organisation, die die Art und Weise nachahmt, wie Tiere sensorische Daten verarbeiten und ihren Körper kontrollieren.
Schließlich können Forscherinnen und Forscher mit NeuroMechFly v2 auch untersuchen, wie das Gehirn sensorische Signale integriert, um eine mentale Repräsentation seiner Umgebung aufzubauen und aufrechtzuerhalten. Um dies zu demonstrieren, hat das Team um Pavan Ramdya die Fähigkeit der Fliege nachgebildet, ihre Wahrnehmung der Bewegungen ihrer Beine zur Orientierung zu nutzen - ein Verhalten, das als Pfadintegration bezeichnet wird. Diese Eigenschaft ermöglicht es der simulierten Fliege, zu "wissen", wo sie sich befindet, auch wenn keine visuellen Informationen vorhanden sind. Diese Art der sensorischen Verarbeitung in einem geschlossenen Regelkreis ist ein Markenzeichen der biologischen Intelligenz und ein entscheidender Schritt für das Neuroengineering.
Koordination zwischen Gehirn und Körper als Inspirationsquelle für Robotik und KI.
Als Ganzes betrachtet ermöglicht NeuroMechFly v2 Forscherinnen und Forschern, mithilfe von Computermodellen zu erforschen, wie das Gehirn entscheidende Verhaltensweisen steuert. Dies ebnet den Weg für ein besseres Verständnis der Gehirn-Körper-Koordination, insbesondere bei Arten mit komplexen sensomotorischen Systemen. In Zukunft könnte dieses Modell als Grundlage für die Entwicklung von Robotern dienen, die sich aufgrund sensorischer Hinweise bewegen, um Gerüchen zu folgen oder ihre Bewegungen anzupassen, um ihre Sicht zu stabilisieren, ähnlich wie bei echten Tieren, die ihre Umgebung erkunden.Durch die Verbesserung der maschinellen Lernmodelle, die diese Simulationen steuern, können die Forscherinnen und Forscher auch verstehen, wie die Intelligenz von Tieren zu autonomeren, robusteren KI-Systemen inspirieren kann, die auf ihre Umgebung reagieren können.
