In letzter Zeit hat die 3D-Computer Vision aufgrund ihrer Anwendungen in Robotik, erweiterter Realität und virtueller Realität enorm an Bedeutung gewonnen. Diese Technologien erfordern eine umfangreiche Menge hochwertiger 3D-Daten, um effektiv zu funktionieren. Die Beschaffung solcher Daten ist jedoch von Natur aus komplex und erfordert spezialisierte Ausrüstung, Expertenwissen und erhebliche Zeitinvestitionen. Im Gegensatz zu 2D-Daten, die relativ einfach zu erhalten sind, erfordert die Erfassung von 3D-Daten das Erfassen von räumlichen Informationen, die für ein genaues Szenenverständnis und eine Interaktion entscheidend sind. Diese Komplexität hat Forscher dazu veranlasst, innovative Methoden zu entwickeln, um 3D-Daten effizient zu generieren, um den Zugang zu robusten Datensätzen zu demokratisieren und Fortschritte in der 3D-Wahrnehmung, Modellierung und Analyse voranzutreiben.
Eine der Hauptherausforderungen in der 3D-Datenforschung ist der Bedarf an gelabelten Trainingsdaten. Diese Einschränkung stellt ein erhebliches Hindernis für das Training von Deep-Learning-Modellen dar, die auf großen, vielfältigen Datensätzen angewiesen sind, um effektiv zu funktionieren. Klassenungleichgewicht, bei dem bestimmte Kategorien von Daten unterrepräsentiert sind, ist ein häufiges Problem in diesen Datensätzen. Dieses Ungleichgewicht kann zu voreingenommenen Vorhersagen führen, bei denen Modelle Minderheitsklassen nicht genau erkennen oder klassifizieren. Traditionelle Methoden wie Oversampling und Undersampling werden häufig eingesetzt, um dieses Problem anzugehen. Dennoch müssen sie aufholen, wenn der Datensatz stark verzerrt ist oder nur eine geringe Menge an Daten für bestimmte Klassen verfügbar ist. Dieses Problem erfordert die Entwicklung fortschrittlicher Techniken, die hochwertige, vielfältige 3D-Daten generieren können, um diese unausgewogenen Datensätze zu ergänzen.
Aktuelle Methoden zur Bewältigung des Mangels an 3D-Daten beinhalten in der Regel Techniken zur Datenanreicherung. Diese Methoden umfassen geometrische oder statistische Transformationen wie Rotation, Skalierung und Hinzufügen von Rauschen, die auf vorhandene Daten angewendet werden, um ihre Größe künstlich zu vergrößern. Diese Ansätze sind jedoch durch die Vielfalt der ursprünglichen Daten begrenzt und erfassen oft nicht die erforderliche Komplexität für realistische 3D-Szenengenerierung. Darüber hinaus hat sich die meiste Forschung auf die Anreicherung von 2D-Daten konzentriert, während der Bereich der 3D-Datenanreicherung weiterentwickelt werden muss. Traditionelle 3D-Anreicherungsmethoden wie PointAugment und PointMixUp haben Schwierigkeiten, komplexe Semantik zu erfassen, was oft nur geringfügige Verbesserungen der Modellleistung zur Folge hat.
Forscher der Nanyang Technologischen Universität in Singapur haben einen innovativen Ansatz namens 3D-VirtFusion vorgestellt. Diese Methode automatisiert die Generierung synthetischer 3D-Trainingsdaten, indem sie die Kraft fortschrittlicher generativer Modelle wie Diffusionsmodelle und von ChatGPT generierte Texteingaben nutzt. Im Gegensatz zu früheren Ansätzen ist 3D-VirtFusion nicht auf realen Daten angewiesen, was es zu einer wegweisenden Lösung für die Generierung vielfältiger und realistischer 3D-Objekte und Szenen macht. Das Forschungsteam verwendete große Grundlagenmodelle, um synthetische 3D-Daten zu erstellen, die das Training von Deep-Learning-Modellen für Aufgaben wie 3D-Semantiksegmentierung und Objekterkennung erheblich verbessern können.