Die Intel RealSense D435i Kamera ist über der Förderplattform montiert, um alle Frachtboxen zu erkennen und Feedback über deren Position und Winkel zu geben. Die Konfiguration der Hardware- und Softwareumgebung wird in Tabelle 1 gezeigt. Die Gesamtstruktur der Förderplattform wird in Abbildung 10 dargestellt. Die Mask R-CNN-Objekterkennung und die Verarbeitung von Maskendaten basieren auf zwei Schritten: RPN und Fast R-CNN. Es wird eine RoI-Pooling-Schicht eingeführt, um die Batch-Eingabe von RoI-Feature-Maps in den nachfolgenden R-CNN zu erleichtern. Mask R-CNN verwendet eine ROIAlign-Strategie für hohe Genauigkeit. Abbildung 11 zeigt die Struktur des Algorithmus.
Für die Erkennung von Position und Winkel der Frachtboxen verwendet Computer Vision die Deep-Learning-Techniken. Ein Datensatz von 300 RGB-Bildern wird aus dem Video, das die Bewegung der Frachtboxen auf der Förderplattform erfasst, extrahiert. Die Annotation des Datensatzes erfolgt mit dem Open-Source- und kostenlosen Anwendung Labelme. 80% des Datensatzes werden als Trainingssatz und 20% als Testdatensatz ausgewählt. Dieser Datensatz wird verwendet, um das Mask R-CNN Deep-Learning-Modell zu trainieren. Die Trainingsgenauigkeit liegt bei 99,48% nach 10 Trainingsschritten. Die Trainingsmodelle sind effektiv und geeignet für die Erkennung von Frachtboxen.
Mask R-CNN generiert ein Array von Resultaten für die Kandidatenregionen und bietet Informationen über Koordinaten und Maskendaten. Die Maskendaten werden individuell verarbeitet, um den Winkel der Frachtbox zu bestimmen. Der Rotating Calipers-Algorithmus wird verwendet, um das Minimum-Rechteck aus den Maskendaten zu bestimmen. Die Genauigkeit bei der Bestimmung des Winkels der Frachtbox wird durch den Trimmed Mean-Algorithmus verbessert. Die Ausrichtung des Rotationsrahmens mit den Bbox-Rechteckdaten erfolgt basierend auf den ermittelten Winkeln.
Die Daten zur Bewegungssteuerung basieren auf der Kombination von Bbox-Daten und den Rotationsrahmendaten. Eine Ausrichtung der beiden Daten wird erreicht, indem die Koordinaten des Mittelpunkts des Rotationsrahmens berechnet und mit den Bbox-Daten abgeglichen werden. Die Einstellung der Frachtboxposition erfolgt durch Differenzialsteuerung basierend auf den gegengesetzt rotierenden omnidirektionalen Rädern in den verschiedenen Teilbereichen der Bbox. Schließlich ermöglicht diese Methode eine präzise Justierung der Frachtbox.