Mithilfe einer Form des maschinellen Lernens, dem sogenannten Deep Reinforcement Learning (DRL), lernte der Roboter der EPFL unter anderem, vom Trab zum Stotting überzugehen - ein Verhalten, bei dem Tiere wie Springböcke und Gazellen mit gekrümmtem Rücken springen -, um sich auf einem schwierigen Gelände mit Löchern fortzubewegen. Die Studie, die vom Labor für Biorobotik der Fakultät für Ingenieurwissenschaften und Technik der EPFL geleitet wird, trägt dazu bei, besser zu verstehen, warum und wie solche Gangwechsel bei Tieren stattfinden.
"Früheren Forschungen zufolge ändern Tiere ihr Tempo, um Energie zu sparen und Verletzungen des Bewegungsapparats zu vermeiden. In jüngerer Zeit haben Biologen behauptet, dass die Stabilität auf ebenem Gelände ein wichtigerer Faktor sein könnte. Experimente mit Tieren und Robotern haben jedoch gezeigt, dass diese Annahmen nicht immer zutreffen, insbesondere auf unebenem Boden", berichtet Milad Shafiee, Doktorand und Hauptautor eines Artikels, der in der Zeitschrift Nature Communications veröffentlicht wurde .
Milad Shafiee und seine Co-Autoren Guillaume Bellegarda und Auke Ijspeert, Leiter des Biorobotik-Labors, untersuchten daher einen neuen Parameter, der diese Veränderungen in der Gangart erklären könnte: die Lebensfähigkeit oder die Vermeidung von Stürzen. Um diese Hypothese zu testen, trainierten sie einen vierbeinigen Roboter mithilfe von Deep Reinforcement Learning, um verschiedene Gelände zu überqueren. Auf ebenem Gelände stellten sie fest, dass jede Gangart unterschiedlich robust gegenüber zufälligen Schüben war und dass der Roboter vom Schritt in den Trab überging, um seine Lebensfähigkeit zu erhalten, wie es vierbeinige Tiere tun, wenn sie beschleunigen. Und als er mit aufeinanderfolgenden 14 bis 30 cm großen Löchern in der Versuchsfläche konfrontiert wurde, wechselte der Roboter spontan vom Trab in den Stotting-Modus, um Stürze zu vermeiden. Außerdem war die Lebensfähigkeit der einzige Faktor, der durch diese Tempowechsel verbessert wurde.
"Wir haben gezeigt, dass sowohl auf flachem als auch auf schwierigem Gelände die Nachhaltigkeit zu Veränderungen im Tempo führt, die Energieeinsparung aber nicht unbedingt besser ist", erklärt Milad Shafiee. Es scheint also, dass die Energieeinsparung, die früher als ein Faktor zur Erklärung dieser Veränderungen angesehen wurde, nun eher eine Folge davon sein könnte. Wenn sich ein Tier durch unwegsames Gelände bewegt, ist es wahrscheinlich, dass seine Priorität darin besteht, nicht zu fallen. Das Sparen seiner Energie käme erst danach".
Eine bio-inspirierte Lernarchitektur
Um die Bewegungssteuerung ihres Roboters zu modellieren, berücksichtigten die Wissenschaftler die drei interagierenden Elemente, die die Bewegungen von Tieren steuern: das Gehirn, das Rückenmark und die sensorische Rückkopplung des Körpers. Mithilfe von Deep Reinforcement Learning trainierten sie ein neuronales Netz, um die Übertragung von Gehirnsignalen vom Rückenmark zum Körper zu imitieren, während der Roboter ein Versuchsfeld durchlief. Anschließend wies das Team drei möglichen Lernzielen unterschiedliche Gewichtungen zu: Energieeinsparung, Kraftabbau und Lebensfähigkeit. Eine Reihe von Computersimulationen ergab, dass von diesen drei Zielen nur die Lebensfähigkeit dazu führte, dass der Roboter sein Tempo automatisch und ohne Anweisung der Wissenschaftler änderte.Das Team betont, dass diese Beobachtungen den ersten lernbasierten Fortbewegungsrahmen darstellen, bei dem Gangartänderungen spontan während des Lernprozesses auftreten, sowie die dynamischste Überquerung von aufeinanderfolgenden, so großen Löchern für einen vierbeinigen Roboter.
"Unsere bio-inspirierte Lernarchitektur hat die Agilität eines hochmodernen vierbeinigen Roboters in schwierigem Gelände demonstriert", sagt Milad Shafiee.
Die Wissenschaftler möchten ihre Arbeit durch weitere Experimente vertiefen, bei denen verschiedene Robotertypen in einer größeren Bandbreite schwieriger Umgebungen eingesetzt werden. Sie hoffen, dass ihre Arbeit letztendlich nicht nur zu einem besseren Verständnis der Fortbewegung von Tieren führen wird, sondern auch dazu, dass Roboter in der biologischen Forschung allgemein eingesetzt werden, wodurch die Verwendung von Tiermodellen und die damit verbundenen ethischen Probleme verringert werden.
