Fast die Hälfte der von der US-amerikanischen Food and Drug Administration (FDA) zugelassenen KI-basierten medizinischen Geräte wurde laut einer neuen Studie nicht mit echten Patientendaten trainiert. Die Studie, die in Nature Medicine veröffentlicht wurde, zeigt, dass 226 der 521 von der FDA zugelassenen Geräte keine veröffentlichten klinischen Validierungsdaten aufweisen. Der Hauptautor Sammy Chouffani El Fassi, ein Medizinstudent an der University of North Carolina, USA, betont, dass die Tatsache, dass die Geräte die FDA-Zulassung erhalten haben, nicht bedeutet, dass sie ordnungsgemäß auf klinische Wirksamkeit anhand von echten Patientendaten überprüft wurden.
Künstliche Intelligenz-basierte Tools haben sich in den letzten Jahren in der Medizin, insbesondere bei Diagnose und Prognose, verbreitet. Forscher haben Maschinenlernwerkzeuge verwendet, um bei der Diagnose und Vorhersage einer Vielzahl von Erkrankungen zu helfen. Diese Tools sind in der Regel Programme, die auf Patientendatensätzen trainiert wurden, sodass ihre Algorithmen Lösungen für neue Probleme bieten können, wenn sie auftreten.
Das US-amerikanische Forscherteam untersuchte in dieser Studie die offizielle Datenbank “Künstliche Intelligenz und maschinelles Lernen (AI/ML)-fähige medizinische Geräte” der FDA. Von den 521 Geräten in dieser Datenbank wurden nur 22 mit randomisierten kontrollierten Studien validiert, während 43% (226) keine veröffentlichte klinische Validierung aufwiesen. Einige Geräte verwendeten “Phantom-Bilder” – computergenerierte Bilder, die nicht von echten Patienten stammten. Die restlichen Geräte wurden mit retrospektiver oder prospektiver Validierung validiert – Tests, die auf Patientendaten aus der Vergangenheit oder in Echtzeit basierten.
Die Autoren haben ihre Ergebnisse mit den Direktoren der FDA geteilt, die für die Regulierung von medizinischen Geräten zuständig sind, und erwarten, dass ihre Arbeit deren regulatorische Entscheidungsfindung beeinflussen wird. Sie hoffen auch, dass ihre Veröffentlichung Forscher und Universitäten weltweit dazu inspirieren wird, klinische Validierungsstudien an medizinischen KI durchzuführen, um die Sicherheit und Wirksamkeit dieser Technologien zu verbessern. In Australien müssen Software, die KI verwendet, Informationen über die von ihr trainierten Daten sowie eine Begründung dafür bereitstellen, wie diese Daten für die australische Bevölkerung und Untergruppen, für die die KI verwendet werden soll, geeignet sind.