PatchSorter WorkflowPS abstrahiert das Konzept der Anwendungsfälle, indem es dem Benutzer ermöglicht, in einer einzelnen PS-Instanz ein separates Projekt pro Anwendungsfall zu erstellen. PS verwaltet Projekte als vollständig unabhängige Entitäten und behält dabei projektbezogene Modellgewichte, Bilder und Objektlabels im Auge. Diese zusätzliche Abstraktionsebene hat den Vorteil, dass sie einen vereinheitlichten PS-Workflow auf Projekt- und somit auch auf Anwendungsfallebene schafft. Für jeden Anwendungsfall wurden gemäß dem PS-Workflow Bilder mit Regionen von Interesse aus mehreren WSI zusammen mit einer entsprechenden Segmentierungsmaske, die die Objektposition markiert, in PS hochgeladen. PS extrahiert daraufhin Patches mit benutzerkonfigurierbaren Patchgrößen um das Zentrum dieser Objekte herum, um eine interne Datenbank für das schnelle Training zu erstellen.
Während PS verschiedene selbstüberwachte Ansätze unterstützt (z. B. BarlowTwins und AutoEncoder), wurde ein SimCLR unter Verwendung eines ResNet-Backbones trainiert, um einen an den Anwendungsfall angepassten DL-Feature-Raum zu schaffen. Merkmalsvektoren werden für jeden Patch unter Verwendung dieses erlernten Merkmalsraums berechnet und anschließend mithilfe der UMAP-Methode in zwei Dimensionen eingebettet. Aufgrund dieses Prozesses werden Objekte, die sich ähneln, in der Einbettung in der Nähe voneinander dargestellt. Dies ermöglicht es dem Benutzer, Bereiche in der Einbettung auszuwählen und die Beschriftung für die Auswahl im Gitterplot bereitzustellen.
Um die Effizienz dieses Bulk-Beschriftungsprozesses zu erleichtern, wurden Funktionen aus modernen Betriebssystemen implementiert, wie Drag-Select und zahlreiche intuitive Tastenkombinationen. PS wurde modular und entkoppelt entworfen, so dass die Backend-Technologien leicht ausgetauscht werden können, um verschiedene DL-Technologien zu bewerten. Die Ausgabe von PS ist sehr tragbar und kann leicht in andere Workflows und Pipelines integriert werden. Es ist wichtig zu beachten, dass der Benutzer jederzeit die volle Kontrolle über die Genauigkeit der Objektlabels behält, und nur bestätigte Labels werden gespeichert. Neue Ground-Truth-Labels können schnell über PS visualisiert und überprüft werden, wobei einzelne Objektlabels bei Bedarf noch modifiziert werden können.
Zur Effizienzverbesserung wurden verschiedene Metriken verwendet, um PS mit einem manuellen, unbeaufsichtigten Baseline-Effizienzschätzungsinstrument zu vergleichen. Für die vier beschriebenen Anwendungsfälle wurden sowohl QR- als auch PS-Experimente durchgeführt, um die Effizienzverbesserung zu messen. Die Ergebnisse zeigen, dass PS eine verbesserte Beschriftungseffizienz bietet, ohne die Genauigkeit zu beeinträchtigen.
In den vorgestellten Anwendungsfällen wurden verschiedene Klassifizierungs- und Beschriftungsaufgaben durchgeführt, z. B. Nukleibeschriftung bei Brustkrebs, Tumorkeimbildung bei Lungenkrebs, Tubulusklassifizierung bei Nierenerkrankungen und Glomerularklassifizierung bei Nierenerkrankungen. Die Experimente zeigten, dass PS eine effiziente und genaue Methode zur Beschriftung von Objekten in medizinischen Bildern darstellt. Die Konfiguration und Hyperparameter sowie der Experimentaufbau wurden sorgfältig durchgeführt, um die Effizienz von PS zu maximieren und gleichzeitig die Genauigkeit zu erhalten.