Forscher am MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) haben einen innovativen Ansatz zur Schulung präziser Haushaltsroboter mittels einer Real-to-Sim-to-Real-Methodik vorgestellt. Dieser Durchbruch ermöglicht es Robotern, in Simulationen gescannter Hausumgebungen trainiert zu werden, was eine individualisierte Hausautomatisierung für jeden zugänglich macht. Zeitraubende Haushaltsaufgaben stehen auf vielen Automatisierungswunschlisten ganz oben. Viele Robotiker wollen Hardware und Software entwickeln, die es Robotern ermöglichen, “Generalisten”-Richtlinien zu erlernen – Regeln und Strategien, die unter allen Bedingungen funktionieren. Die meisten Hausbesitzer sind jedoch eher daran interessiert, dass Roboter in ihrer Umgebung perfekt arbeiten. Vor diesem Hintergrund haben die CSAIL-Forscher eine Lösung entwickelt, um robuste Roboter-Richtlinien für bestimmte Einstellungen effizient zu trainieren.
Das neue System namens RialTo, entwickelt von den MIT-Forschern Marcel Torne Villasevil und Pulkit Agrawal, ist komplexer als nur das Scannen eines Raums mit einem Telefon. Es beginnt damit, die Ziellandschaft mithilfe von Tools wie NeRFStudio, ARCode oder Polycam zu scannen. Sobald die Szene rekonstruiert ist, können Benutzer sie in die Benutzeroberfläche von RialTo hochladen, um detaillierte Anpassungen vorzunehmen, notwendige Gelenke an den Robotern hinzuzufügen und mehr. Die raffinierte Szene wird dann in einen Simulator exportiert, um Richtlinien basierend auf realen Handlungen und Beobachtungen, wie das Greifen einer Tasse auf einer Theke, zu entwickeln. Diese realen Demonstrationen werden in der Simulation repliziert und liefern wertvolle Daten für das verstärkende Lernen.
Tests zeigten, dass RialTo starke Richtlinien für verschiedene Aufgaben erstellte, die um 67 Prozent über dem Imitationslernen mit der gleichen Anzahl an Demonstrationen verbessert wurden. Die Aufgaben umfassten: Ein Toaster öffnen, ein Buch in ein Regal legen, einen Teller auf einem Gestell abstellen, eine Tasse in ein Regal stellen, eine Schublade öffnen, einen Schrank öffnen. Die Forscher testeten die Leistung des Systems unter drei zunehmenden Schwierigkeitsgraden: Zufälliges Ändern von Objektposen, Hinzufügen visueller Ablenkungen und Anwendung von physischen Störungen während der Aufgabenausführung. Das System übertraf traditionelle Imitationslernmethoden, insbesondere in Situationen mit erheblichen visuellen Ablenkungen oder physischen Störungen.
Trotz ihres Erfolgs benötigt RialTo derzeit drei Tage, um vollständig trainiert zu werden. Das Team plant, die zugrunde liegenden Algorithmen zu verbessern und Grundlagenmodelle zu verwenden, um diesen Prozess zu beschleunigen. Die Simulationsschulung hat Einschränkungen, wie Schwierigkeiten beim Sim-to-Real-Transfer und der Simulation von verformbaren Objekten oder Flüssigkeiten. Diese Forschung wurde von Marcel Torne Villasevil geleitet, mit den Seniorautoren Abhishek Gupta, Assistenzprofessor an der University of Washington, und Pulkit Agrawal. Weitere CSAIL-Mitwirkende sind EECS PhD-Student Anthony Simeonov SM ’22, Forschungsassistent Zechu Li, Student April Chan und Tao Chen PhD ’24. Die Mitglieder des Improbable AI Lab und des WEIRD Lab lieferten wertvolles Feedback und Unterstützung.
Das Sony Research Award, die US-Regierung und Hyundai Motor Co. unterstützten das Projekt, unterstützt vom WEIRD Lab (Washington Embodied Intelligence and Robotics Development). Die Forscher präsentierten ihre Arbeit auf der Konferenz Robotics: Science and Systems (RSS) in diesem Monat. Das CSAIL-Team arbeitet weiterhin daran, RialTo zu verfeinern, um Hausautomatisierungsroboter in individualisierten Hausumgebungen zugänglicher und effektiver zu machen. Mit laufenden Verbesserungen und Zusammenarbeiten sieht die Zukunft der Hausautomatisierung vielversprechend aus, angetrieben von modernster Forschung und Innovation.