Diffusionsbasierte Deep-Learning-Methode zur Verbesserung von ultrastrukturellen Bildern und Volumenelektronenmikroskopie – Nature Communications

Diffusionsbasierte Deep-Learning-Methode zur Verbesserung von ultrastrukturellen Bildern und Volumenelektronenmikroskopie – Nature Communications

Die Vorverarbeitung von Daten in einem Rauschunterdrückungsprozess ist entscheidend, da Verzerrungen und Drifts, die mit der Elektronenmikroskopie einhergehen, zu fehljustierten Trainingsdaten führen können. Um das EMDiffuse-Modell richtig zu trainieren, wurde in dieser Studie eine zweistufige Registrierungsstrategie für eine grobe bis feine Ausrichtung des Rohbildes und des Referenzbildes vorgestellt. Die grobe Stufe verwendete eine auf Schlüsselpunktabstimmung basierende Registrierungstechnik, um das Rohbild an das Referenzbild anzugleichen. Die feine Stufe verwendete optische Flussschätzung, um dichte Übereinstimmungen zwischen Pixeln in zwei Bildausschnitten zu schätzen, um das Rohbild für eine bessere lokale Ausrichtung an das Referenzbild zu verformen. Um die Effizienz des Trainings sicherzustellen, wurden 256×256 Bildausschnitte für das Training und die Inferenz zufällig ausgeschnitten.

Zur Unterstützung des Trainings wurden fünf neuronale Netzwerke mit verschiedenen Rauschunterdrückungsaufgaben verglichen. Es wurde ein zusätzlicher Vorhersagekopf hinzugefügt, der eine Schwierigkeitsbewertungskarte produzierte, um den Vorhersagefehler zu gewichten. Der Trainingsoptimierungsprozess wurde auch beschrieben. Für die Inferenz wurden Schwierigkeitskarten verwendet, um die Unsicherheit der Modellvorhersagen zu bewerten. Externe Parameter wie die Anzahl der Zwischenschichten wurden anhand des Rauschniveaus des jeweiligen Eingabebildes optimiert.

Die Transferierbarkeit des EMDiffuse-Modells auf neue Datensätze wurde ebenso untersucht. Die Übertragung des Modells auf neue Gewebe erfolgte durch Fein-Tuning des trainierten Modells mit wenigen Proben des neuen Gewebes. Eine entsprechende Strategie wurde zur Vermeidung von Überanpassung umgesetzt, indem nur bestimmte Parameter während des Fein-Tunings angepasst wurden. Das Modell wurde für verschiedene Gewebearten trainiert und getestet, wobei die Lernalgorithmen und Optimierungsparameter konsistent blieben.

Für die Superauflösungsaufgabe wurden mehrere Modelle mit EMDiffuse-r verglichen, wobei die Schritte des Trainings und die Verwendung von parametrischen Hyperparametern beschrieben wurden. Darüber hinaus wurde ein Ausblick auf vEMDiffuse-i und vEMDiffuse-a zur isotropen Rekonstruktion gegeben, wobei die Modellierungsstrategien und Inferenzprozesse erläutert wurden. Abschließend wurde die Organelle-Segmentierung beschrieben, bei der ein 3D-U-Netz-Modell trainiert wurde und auf die durch EMDiffuse erstellten Volumina angewendet wurde, um die Segmentierungsgenauigkeit zu bewerten. Alle Ergebnisse wurden statistisch validiert und wiederholbar durchgeführt.