Nvidia präsentiert bahnbrechende Updates für die Robotikbranche auf ROSCon 2024: Fortschritte in generativer KI und Simulation

Nvidia präsentiert bahnbrechende Updates für die Robotikbranche auf der ROSCon 2024

Nvidia hat eine Vielzahl von Updates für die Robotikbranche vorgestellt, die während der ROSCon 2024 in Odense, Dänemark, angekündigt wurden. Mit dem Ziel, die Entwicklung von KI-unterstützten Roboterarmen und autonomen mobilen Robotern zu beschleunigen, hat Nvidia in Zusammenarbeit mit seinen Partnern innovative generative KI-Tools, Simulations- und Wahrnehmungs-Workflows für Entwickler des Robot Operating System (ROS) präsentiert.

Innovative Tools für ROS-Entwickler

Die neuen generativen KI-Knoten und Workflows erleichtern ROS-Entwicklern den Einsatz auf der Nvidia Jetson Plattform für Edge-KI und Robotik. Generative KI ermöglicht es Robotern, ihre Umgebung zu erkennen und zu verstehen, sich natürlich mit Menschen zu kommunizieren und autonom adaptive Entscheidungen zu treffen.

ReMEmbR – KI-gestützte Robotik

Ein herausragendes Projekt ist ReMEmbR, das auf ROS 2 basiert und generative KI verwendet, um das robotergestützte Denken und Handeln zu verbessern. Durch die Kombination von großen Sprachmodellen (LLMs), visuellen Sprachmodellen (VLMs) und retrieval-augmented generation ermöglicht ReMEmbR Robotern, langfristige semantische Erinnerungen aufzubauen und abzufragen, um ihre Fähigkeiten zur Navigation und Interaktion mit der Umwelt zu optimieren.

Sprachsteuerung für Roboter

Die neue Sprach-Transkriptionsfähigkeit wird durch den WhisperTRT ROS 2 Knoten unterstützt, der OpenAI’s Whisper-Modell mithilfe von Nvidia TensorRT optimiert. Dies führt zu einer niedrigen Latenz bei der Verarbeitung von Spracheingaben, was die Mensch-Roboter-Interaktion wesentlich verbessert.

Echtzeit-Objekterkennung

Auf der ROSCon 2024 präsentierte Canonical das NanoOWL-Modul, ein Null-Shot-Objekterkennungsmodell, das auf dem Nvidia Jetson Orin Nano System-on-Module läuft. Dieses Modell ermöglicht es Robotern, eine Vielzahl von Objekten in Echtzeit zu erkennen, ohne auf vordefinierte Kategorien zurückzugreifen.

Simulation als Schlüssel zur Sicherheit

Die Simulation ist entscheidend, um KI-fähige Roboter sicher testen und validieren zu können, bevor sie in den Einsatz gehen. Nvidia Isaac Sim, eine auf OpenUSD basierende Robotersimulationsplattform, bietet ROS-Entwicklern eine virtuelle Umgebung, um Roboter in Verbindung mit ihren ROS-Paketen zu testen. Ein neuer „Anfängerguide zu ROS 2 Workflows mit Isaac Sim“ zeigt die end-to-end Prozesse für Robotersimulation und -tests auf.

Verbesserung der Isaac ROS Suite

Die kommende Version 3.2 von Nvidia Isaac ROS, die auf dem Open-Source ROS 2 Software-Framework basiert, wird die Robotersicherheits-, Manipulations- und Umweltkartierungsfunktionen erheblich verbessern. Zu den Kernverbesserungen gehören neue Referenz-Workflows zur Integration von FoundationPose und cuMotion, die die Entwicklung von Pick-and-Place- und Objekterkennungspipelines in der Robotik beschleunigen.

Partner von Nvidia Isaac

Zahlreiche Robotikunternehmen integrieren die beschleunigten Bibliotheken und KI-Modelle von Nvidia Isaac in ihre Plattformen, darunter:

• Universal Robots: Einführung eines neuen KI-Accelerator-Kits für die Entwicklung KI-gestützter Cobot-Anwendungen.
• Miso Robotics: Nutzung von Isaac ROS zur Steigerung der Effizienz in der Lebensmittelautomatisierung.
• Wheel.me: Gemeinsame Entwicklung eines produktionsreifen AMR mit RGo Robotics und Nvidia.
• Main Street Autonomy: Optimierung der Sensorskalibrierung mit Isaac Perceptor.
• Orbbec: Vorstellung des Perceptor Developer Kit, einer Lösung für AMR.
• LIPS: Launch eines Multi-Kamera-Wahrnehmungsdevkits zur Verbesserung der AMR-Navigation.

Fazit

Nvidias Neuigkeiten auf der ROSCon 2024 markieren einen bedeutenden Fortschritt für die Robotikbranche, insbesondere in der Entwicklung von KI-unterstützten Systemen. Die vorgestellten Tools und Partnerschaften werden Entwicklern helfen, innovative Lösungen schneller zu realisieren und die Leistungsfähigkeit von Robotern in verschiedenen Anwendungen zu erweitern.

Für Entwickler, die ihre Projekte mit neuesten KI-Technologien aufrüsten möchten, ist jetzt der beste Zeitpunkt, um mit den ROS 2 Knoten für generative KI zu beginnen und von den Vorteilen der Nvidia Jetson-optimierten Modelle zu profitieren.