In „Star Trek: The Next Generation“ nutzen Captain Picard und die Besatzung der U.S.S. Enterprise das Holodeck: Einen leeren Raum, der in der Lage ist, 3D-Umgebungen zu erzeugen, um sich auf Missionen vorzubereiten und sich selbst zu unterhalten. Darin wird alles vom üppigen Dschungel bis hin zu London von Sherlock Holmes simulieren.
Virtuelle interaktive Umgebungen für Robotern
Die auf dem Holodeck erzeugten Umgebungen sind tiefgreifend und vollständig interaktiv und können unendlich angepasst werden, da sie nur durch Sprache erzeugt werden. Die Besatzung muss den Computer nur bitten, eine Umgebung zu erzeugen, und diese erscheint dann auf dem Holodeck.
Heute werden virtuelle interaktive Umgebungen auch zum Training von Robotern verwendet, bevor diese in der realen Welt eingesetzt werden „Sim2Real“. Virtuelle interaktive Umgebungen sind jedoch erstaunlich rar gesät.
„Künstler erstellen diese Umgebungen von Hand“, sagt Yue Yang, Doktorand in den Labors von Mark Yatskar und Chris Callison-Burch, Assistenz- beziehungsweise außerordentliche Professoren für Computer- und Informationswissenschaften (CIS).
„Dieser Mangel an virtuellen Umgebungen ist ein Problem, wenn Sie Robotern beibringen möchten, sich in der realen Welt mit all ihren Komplexitäten zurechtzufinden. Neuronale Netze, die Systeme, die die heutige KI-Revolution vorantreiben, erfordern riesige Datenmengen, in diesem Fall Simulationen der physischen Welt“, Chris Callison-Burch.
3D-Umgebungen für verkörperten KI
„Generative KI-Systeme, wie ChatGPT werden mit Billionen von Wörtern trainiert, und Bildgeneratoren wie Midjourney und DALLE werden mit Milliarden von Bildern trainiert“, sagt Callison-Burch.
„Wir haben nur einen Bruchteil dieser Menge an 3D-Umgebungen für das Training der so genannten ,verkörperten KI‘. Wenn wir generative KI-Techniken nutzen wollen, um Roboter zu entwickeln, die sich sicher in realen Umgebungen bewegen können, müssen wir Millionen oder Milliarden von simulierten Umgebungen schaffen.“
„Wenn wir generative KI-Techniken einsetzen wollen, um Roboter zu entwickeln, die sich sicher in realen Umgebungen bewegen können, müssen wir Millionen oder Milliarden von simulierten Umgebungen schaffen“, Chris Callison-Burch.
Hier kommt Holodeck ins Spiel. Ein Team von Wissenschaftlern der University of Pennsylvania hat in Zusammenarbeit mit Wissenschaftlern der Stanford University, der University of Washington und des Allen Institute for Artificial Intelligence (AI2) das Holodeck aus Star Trek mit Hilfe von ChatGPT und Videospiel-Assets nachgebildet. Das System erzeugt interaktive virtuelle 3D-Umgebungen.
Holodeck kann unbegrenzt Räume erstellen
Das Holodeck, benannt nach seinem Star-Trek-Vorläufer , generiert eine praktisch unbegrenzte Anzahl von Innenräumen und nutzt KI, um die Wünsche der Benutzer zu interpretieren. „Wir können es mit Sprache steuern“, sagt Yang. „Man kann ganz einfach die gewünschten Umgebungen beschreiben und die verkörperten KI-Agenten trainieren.“
Holodeck nutzt das Wissen, das in großen Sprachmodellen, den Systemen (LLM), die ChatGPT und anderen Chatbots zugrunde liegen, enthalten ist. In der Tat verfügen LLMs dank der riesigen Textmengen, die sie während des Trainings aufnehmen, über ein erstaunlich hohes Maß an Wissen über die Gestaltung von Räumen.
Im Wesentlichen funktioniert Holodeck, indem es einen LLM in ein Gespräch verwickelt und eine sorgfältig strukturierte Reihe versteckter Abfragen verwendet, um Benutzeranfragen in spezifische Parameter aufzuschlüsseln.
So wie Captain Picard das Holodeck von Star Trek bitten könnte, eine Kneipe zu simulieren, können Forscher das Holodeck von Penn bitten: „eine 1b1b-Wohnung eines Forschers zu erstellen, der eine Katze hat.“
Wie funktioniert das Star-Trek-System?
Das System führt diese Anfrage aus, indem es sie in mehrere Schritte unterteilt: Zuerst werden der Boden und die Wände erstellt, dann die Tür und die Fenster. Als Nächstes durchsucht Holodeck Objaverse, eine riesige Bibliothek vorgefertigter digitaler Objekte, nach der Art der Einrichtung, die man in einem solchen Raum erwarten würde: ein Couchtisch, ein Katzenturm und so weiter.
Schließlich fragt Holodeck ein Layout-Modul ab, das die Forscher entwickelt haben, um die Platzierung von Objekten einzuschränken, so dass man nicht mit einer Toilette endet, die horizontal aus der Wand herausragt.
Um die Fähigkeiten von Holodeck im Hinblick auf Realismus und Genauigkeit zu bewerten, erstellten die Forscher 120 Szenen sowohl mit Holodeck als auch mit ProcTHOR, einem früheren Tool von AI2, und baten mehrere hundert Studenten der Penn Engineering School, ihre bevorzugte Version anzugeben, ohne zu wissen, welche Szenen mit welchem Tool erstellt wurden.
Bei jedem Kriterium: Auswahl der Elemente, Kohärenz des Layouts und Gesamtpräferenz bewerteten die Studenten die von Holodeck erzeugten Umgebungen durchweg positiver.
Holodeck-Szenen zum Training von Robotern
Die Forscher testeten auch die Fähigkeit von Holodeck, Szenen zu erzeugen, die in der Robotikforschung weniger typisch und schwieriger manuell zu erstellen sind als Innenräume von Wohnungen, wie Geschäfte, öffentliche Räume und Büros.
Beim Vergleich der Ergebnisse von Holodeck mit denen von ProcTHOR, die mit von Menschen erstellten Regeln und nicht mit KI-generiertem Text erzeugt wurden, stellten die Forscher erneut fest, dass menschliche Bewerter die von Holodeck erzeugten Szenen bevorzugten. Diese Vorliebe galt für ein breites Spektrum von Innenräumen, von wissenschaftlichen Labors bis zu Kunststudios, von Umkleideräumen bis zu Weinkellern.
Schließlich nutzten die Forscher die von Holodeck generierten Szenen zur Feinabstimmung eines verkörperten KI-Agenten. „Der ultimative Test von Holodeck“, so Yatskar: „besteht darin, es zu nutzen, um Robotern zu helfen, sicherer mit ihrer Umgebung zu interagieren, indem sie darauf vorbereitet werden, sich an Orten aufzuhalten, an denen sie noch nie zuvor waren.“
Viele Möglichkeiten für die Zukunft
In verschiedenen Arten von virtuellen Räumen, darunter Büros, Kindertagesstätten, Fitnessstudios und Spielhallen, hatte Holodeck eine ausgeprägte und positive Wirkung auf die Fähigkeit des Agenten, sich in neuen Räumen zurechtzufinden.
Während der Agent beispielsweise ein Klavier in einem Musikzimmer nur in etwa 6 Prozent der Fälle erfolgreich fand, wenn er mit ProcTHOR vortrainiert wurde (wozu der Agent etwa 400 Millionen virtuelle Schritte machen musste), gelang ihm dies in über 30 Prozent der Fälle, wenn er mit 100 von Holodeck generierten Musikzimmern feinabgestimmt wurde.
„Die Forschung in diesem Bereich hat sich lange Zeit auf Wohnräume beschränkt“, sagt Yang. „Aber es gibt so viele unterschiedliche Umgebungen da draußen - die effiziente Generierung vieler Umgebungen zum Trainieren von Robotern war immer eine große Herausforderung, aber Holodeck bietet diese Funktionalität.“
