Die Studie wurde vom Ethikausschuss des Shanghai Sixth People’s Hospital und des Huadong Sanatoriums genehmigt. Es wurden nur anonymisierte retrospektive Daten verwendet, und für die Entwicklungs- und Validierungsprozesse wurden informierte Einwilligungen eingeholt. Die Studie wurde gemäß der Deklaration von Helsinki durchgeführt. Es wurden vierzehn unabhängige Querschnittsdatensätze mit Standardnetzhautbildern und sieben unabhängige Querschnittsdatensätze mit tragbaren Netzhautbildern von Menschen mit Diabetes verwendet. Die Schwere der diabetischen Retinopathie (DR) wurde in fünf Stufen eingeteilt, und die diabetische Makulopathie (DME) wurde definiert. Die Diagnose von Diabetes erfolgte gemäß den neuesten Richtlinien der American Diabetes Association.
Das DeepDR-LLM-System besteht aus zwei Modulen: dem LLM-Modul und dem DeepDR-Transformer-Modul. Das LLM-Modul wurde mit Hilfe von Supervised Fine-Tuning entwickelt, um Empfehlungen für das Diabetesmanagement basierend auf klinischen Metadaten zu formulieren. Das Modul verwendet LoRA und Adapter-Techniken für effizientes Training. Das DeepDR-Transformer-Modul wurde für die Analyse von Fundus-Bildern zur DR-Prognose entwickelt und umfasst Aufgaben wie Bildqualitätsbewertung, Läsionensegmentierung und DR/DME-Graduierung.
Für die Evaluation des LLM-Moduls wurden retrospektive Datensätze in Englisch und Chinesisch verwendet. Weiterhin wurde die Leistung des DeepDR-Transformer-Moduls auf retrospektiven Datensätzen bewertet, einschließlich Bildqualitätsbewertung, Läsionensegmentierung und DR-Graduierung. Das Modul wurde auch als unterstützendes Werkzeug zur Identifizierung von referenzierbarer DR in verschiedenen Studienstandorten eingesetzt.
Eine Echtzeit-Zweig-Studie wurde durchgeführt, um die Auswirkungen des DeepDR-LLM-Systems auf die Gesundheitsergebnisse und die Zufriedenheit der Patienten und PCPs zu untersuchen. Dabei wurden Patienten mit diabetesbezogenen Gesundheitsuntersuchungen an einem medizinischen Zentrum in China teilgenommen. Die Ergebnisse wurden im Hinblick auf die Wirksamkeit des Systems bei der Diabetesverwaltung bewertet. Die Studie ergab, dass die Integration des DeepDR-Transformer-Moduls in den Bewertungsprozess zu konsistenten Ergebnissen führte. Evaluierungen ergaben eine vergleichbare Leistung, wenn das DR/DME-Diagnoseergebnis in das LLM-Modul eingespeist wurde.
Abschließend wurde das DeepDR-LLM-System als effektive Unterstützung bei der individuellen Diabetesmanagement-Gewährleistung in einer realen Umgebung bewertet. Die Ergebnisse zeigten Verbesserungen in der Diabetesverwaltung durch die Integration des Systems. Es wurden auch Zufriedenheitsumfragen unter den beteiligten PCPs durchgeführt, um deren Meinung zur Integration des Systems in die tägliche Routinepraxis zu erfassen.