Diese Studie wurde gemäß der CLAIM-Checkliste für KI-zentrierte diagnostische Genauigkeitsstudien berichtet. Für die Entwicklung des Deep-Learning-Algorithmus wurden alle aufeinander folgenden Patienten über 5 Jahre alt rekrutiert, die zwischen Mai 2013 und Dezember 2017 in einer privaten HNO-Praxis in Strasbourg, Frankreich, vorstellig wurden. Zur Leistungsbeurteilung wurde ein “gehaltener” Testdatensatz mit eindeutigen Bildern erstellt, die unter den gleichen Bedingungen von 2018 bis 2020 gesammelt wurden, ohne Überlappung mit den Trainings- und Validierungssets, um sicherzustellen, dass Bilder vom selben Ohr oder unterschiedlichen Ohren derselben Person nicht in den Validierungs- und Testdatensätzen enthalten waren. Alle Teilnehmer wurden von einem einzigen HNO-Spezialisten mit mehr als 20 Jahren klinischer Erfahrung bewertet.
Digitale otoskopische Bilder wurden mit dem Smart Scope (Karl Storz, Tuttlingen, Deutschland) aufgenommen. Der Smart Scope ist ein universeller Adapter, der es ermöglicht, ein Handendoskop mit einem Smartphone zu koppeln. Die Bilder wurden in JPEG-Format auf dem Computer gespeichert. Die Diagnose des HNO-Arztes wurde als Referenzstandard verwendet. Die Diagnose wurde anhand von demografischen Informationen, Krankengeschichte, Zeichen und Symptomen, visuellen Informationen aus der Otoskopie und Tympanometrie festgelegt. Die Bilder wurden in 11 vordefinierte Ordner für jede diagnostische Klasse gelabelt.
Die Otoskopie-Bilder wurden in den Datensatz aufgenommen, wenn das gesamte Trommelfell freigelegt war und die Qualität ausreichend war, um eine definitive Diagnose zu stellen. Die Bilder wurden ausgeschlossen, wenn sie unscharf, zu dunkel oder verschwommen waren. Ein Convolutional Neural Network (CNN) basierend auf der Inception-v2-Architektur wurde in Python implementiert. Transfer Learning wurde verwendet, um die Phase des Trainings zu optimieren, und der DL-Algorithmus wurde mit TensorFlow-Bibliotheken entwickelt.
Die Performance des Algorithmus wurde auf einem Validierungsset und einem Testset, bestehend aus 326 eindeutigen Bildern ohne Überlappung mit den Trainings- und Validierungssets, bewertet. Die Diagnose mit der höchsten DL-generierten Vorhersage wurde mit dem Referenzstandard verglichen. Die Genauigkeit des Modells wurde mittels Sensitivität, Spezifität und der Fläche unter der Receiver-Betriebskennlinie für jede diagnostische Klasse in den Validierungs- und Testsets bewertet.
Um die Gerätetauglichkeit des Modells zu überprüfen, wurden verschiedene Bildkorruptionsprozesse angewendet. T-SNE-Visualisierung wurde verwendet, um die Merkmale des DL-Modells zu darzustellen. Fehlklassifizierungen im Testset wurden analysiert, und eine Smartphone-App wurde entwickelt, um die Nutzung des DL-Modells für Benutzer mit begrenztem technischen und statistischen Wissen zu erleichtern. Die App wurde für iOS entwickelt und ermöglicht die direkte Erfassung und Analyse von Otoskopie-Bildern.