Apple mag NVIDIA zwar nicht viel nutzen, aber das bedeutet nicht, dass NVIDIA keinen Nutzen für Apple hat. Insbesondere wird das Apple Vision Pro-Headset verwendet, um den humanoiden Roboter von NVIDIA zu entwickeln. Die Videoinhalte zielen darauf ab, die Arbeit von NVIDIA im Bereich der Robotik zu fördern.
Das Apple Vision Pro wird in der Pressemitteilung zweimal als Instrument zur Steuerung von NVIDIAs Robotern in Bezug auf den MimicGen NIM-Mikroservice erwähnt. Die Schulung von Grundmodellen für humanoide Roboter erfordert eine unglaubliche Menge an Daten, und eine Möglichkeit, menschliche Demonstrationen zu erfassen, ist die Teleoperation. NVIDIA präsentiert einen KI- und Omniverse-fähigen Teleoperationsreferenzworkflow, der es Forschern und KI-Entwicklern ermöglicht, massive Mengen an synthetischen Bewegungs- und Wahrnehmungsdaten aus einer minimalen Menge von ferngesteuerten menschlichen Demonstrationen zu generieren.
Entwickler verwenden zunächst das Apple Vision Pro, um eine geringe Anzahl von ferngesteuerten Demonstrationen aufzuzeichnen. Anschließend simulieren sie die Aufzeichnungen in NVIDIA Isaac Sim und verwenden den MimicGen NIM-Mikroservice, um synthetische Datensätze aus den Aufzeichnungen zu generieren. Durch das Training des humanoiden Grundmodells mit echten und synthetischen Daten durch Project GR00T können Entwickler Zeit sparen und Kosten senken. Sie verwenden dann den Robocasa NIM-Mikroservice in Isaac Lab, einem Framework für das Roboterlernen, um Erfahrungen zur Neuschulung des Robotermodells zu generieren. NVIDIA OSMO weist nahtlos Rechenjobs verschiedenen Ressourcen zu und spart den Entwicklern Wochen administrativer Aufgaben.