Ein Forschungsteam hat eine Computer Vision-Technik entwickelt, die dichotome Bildsegmentierung, hochauflösende Saliency-Objekterkennung und verdeckte Objekterkennung im selben Framework durchführen kann. Ihr neuartiges bilaterales Referenzframework (BiRefNet) kann winzige Pixelmerkmale erfassen und hat Potenzial für eine Vielzahl praktischer Anwendungen in der Computer Vision.
Die Arbeit wurde im Journal CAAI Artificial Intelligence Research veröffentlicht. In der Computer-Vision-Forschung beinhaltet die Bildsegmentierungstechnologie das Aufteilen digitaler Bilder in sinnvolle Teile, um die Analyse zu erleichtern. Mit fortschreitender hochauflösender Bildaufnahme sind Wissenschaftler nun in der Lage, eine sehr präzise Objektsegmentierung zu erreichen. Diese Technologie wird als hochauflösende dichotome Bildsegmentierung (DIS) bezeichnet und wird von Unternehmen wie Samsung, Adobe und Disney verwendet.
Aktuelle Strategien der DIS reichen jedoch nicht aus, um die feinsten Merkmale zu erfassen. Um diese Herausforderungen in der hochauflösenden DIS zu bewältigen, hat das Forschungsteam ein bilaterales Referenzmodul entwickelt. Mit ihrem BiRefNet haben sie eine hochpräzise hochauflösende DIS realisiert und damit ein aktuelles offen zugängliches Modell für die Extraktion von Vordergrundobjekten geschaffen.
Ihr neuartiges progressiv bilaterales Referenznetzwerk BiRefNet handhabt die hochauflösende DIS-Aufgabe mit separaten Lokalisierungs- und Rekonstruktionsmodulen. Statt die Originalbilder in niedrig aufgelöste Versionen zu verkleinern, um die Konsistenz mit den Decodierungsmerkmalen sicherzustellen, behielten sie die Originalauflösung bei, um Details integral zu erhalten. BiRefNet bietet eine einfache, aber starke Basis, die hochwertige DIS durchführt.
BiRefNet hat bereits viele nützliche Anwendungen aufgrund seiner extrem genauen Segmentierungsergebnisse. Es kann zum Beispiel Risse in Wänden finden, helfen, sie zu überwachen und festzustellen, wann Reparaturen notwendig sind. Es ermöglicht auch eine hochgenaue Extraktion von Objekten mit feinen Gittern und dichten Löchern. BiRefNet wird in der Computer-Vision-Community weit verbreitet genutzt und wird in verschiedene Systeme integriert, um die Bildsynthese zu verbessern und verschiedene Segmentationen durchzuführen. Die Forscher planen, BiRefNet auf weitere Aufgaben auszudehnen und eine leichtgewichtige Architektur zu entwickeln, um schnellere Inferenz auf hochauflösenden Bildern zu ermöglichen.