Wer im virtuellen Raum einen Text eingeben möchte, um zum Beispiel nach einer digitalen Ausstellung zu suchen oder eine Business-Applikation zu nutzen, musste bisher noch jeden Buchstaben einzeln auf einer virtuellen Tastatur eintippen. Gerade die Eingabe längerer Texte gestaltet sich jedoch oftmals schwierig, da es in der virtuellen Realität im Unterschied zu einer klassischen Computer-Tastatur kein haptisches Feedback gibt und es nicht möglich ist, die Bewegungen einzelner Finger präzise zu erfassen.
Florian Spiess, Doktorand am Departement für Mathematik und Informatik, hat gemeinsam mit seinem Team unter der Leitung von Heiko Schuldt eine neue Methode für die Texteingabe im virtuellen Raum entwickelt. Mithilfe einer Swipe-Tastatur lassen sich Wörter mit einer fliessenden Wischbewegung eingeben. Die Resultate stellten die Forschenden an der IEEE International Conference on Artificial Intelligence and Virtual Reality (AIVR) vor.
Das Smartphone als Vorbild
Auf der Smartphone-Tastatur gibt es bereits seit Längerem die Möglichkeit, anstatt auf jeden Buchstaben einzeln zu drücken, mit dem Finger von einem Buchstaben zum nächsten zu gleiten und so das gewünschte Wort zu generieren. Diese Swipe-Funktionsweise machten sich die Forschenden zunutze.Im virtuellen Raum sehen die Anwenderinnen und Anwender mit der VR-Brille ein solches Swipe-Keyboard vor sich. Mit dem Controller können sie in einer Wischbewegung die Buchstaben zu einem Wort verbinden. Dabei zeichnen sie eine Linie im dreidimensionalen Raum. Die Form dieser Kurve, die alle Buchstaben miteinander verknüpft, variiert je nach Wort. Für das Wort ’Hai’ auf einer Tastatur im QWERTZ-Layout bewegt sich die Hand dann vom ’H’ in der Mitte der Tastatur, nach links zum ’A’ und dann nach rechts oben zum ’I’.
Die perfekte Kurve
Die Forschenden konnten die theoretischen, perfekten Kurven für einen Datensatz der 100'000 häufigsten Wörter in der englischen Sprache berechnen. ’Der Mensch ist aber natürlich nicht perfekt’, erklärt Spiess. ’Die Linien sind in der Realität nicht immer so gerade, wie vom Computer errechnet. Daher braucht es Methoden, um Ungenauigkeiten zu berücksichtigen.’Das System bestimmt deshalb das eingegebene Wort nicht nur anhand des Abgleiches der Wischgeste mit der errechneten Kurve, sondern berücksichtigt auch die reale Position auf der Tastatur. Befindet sich beispielsweise der Controller für den ersten Buchstaben eines Wortes eher auf der linken Seite der Tastatur, so schliesst das Programm alle Wörter aus, die mit Buchstaben auf der rechten Seite beginnen.
Das Wort, welches das System anhand dieser beiden Filter berechnet, wird in einem Ausgabefenster angezeigt (siehe: Video). Zusätzlich werden über der Tastatur bis zu vier Alternativen vorgeschlagen. Für das Wort ’das’ bietet das Programm unter anderem auch ’dass’ als Möglichkeit an, da die Kurve der beiden Wörter identisch ist.
Benutzerfreundliche Lösung
In einer ersten, vorläufigen Benutzerstudie beurteilten die Befragten die Anwenderfreundlichkeit des neuen Eingabeformats positiv. Bezüglich Geschwindigkeit landete das Swipe-Keyboard jedoch mit 13 Wörtern pro Minute im Vergleich zu anderen Texteingabemethoden vorerst nur im Mittelfeld. Die Forschenden planen das Keyboard dementsprechend noch zu verbessern, beispielsweise durch eine integrierte Rechtschreibprüfung.Das Swipe-Keyboard ist bereits kostenlos auf GitHub, einer Webseite für Software-Entwicklungsprojekte, erhältlich. ’Im Departement für Mathematik und Informatik setzen wir stark auf Open Source. Ich selbst habe lange nach einer solchen Möglichkeit zur einfachen Texteingabe gesucht und wir wollten nicht nur eine Anwendung für uns entwickeln, sondern eine Lösung finden, von der alle profitieren’, sagt Spiess.
Originalpublikation:
Florian Spiess et. al.
Direct Interaction Word-Gesture Text Input in Virtual Reality
IEEE International Conference on Artificial Intelligence and Virtual Reality (2022), doi: 10.1109/AIVR56993.2022.00028.
