In einer kürzlich veröffentlichten Studie in Nature Medicine haben Forscher das medizinische Konzept-Retriever (MONET) Foundation Model entwickelt, das medizinische Bilder mit Text verknüpft und Bilder basierend auf der Existenz von Ideen bewertet, was bei wichtigen Aufgaben in der Entwicklung und Implementierung künstlicher Intelligenz (KI) im medizinischen Bereich hilft. Die Entwicklung zuverlässiger bildbasierter medizinischer KI-Systeme erfordert die Analyse von Informationen und neuronalen Netzwerkmodellen auf jeder Entwicklungsstufe, vom Schulungs- bis zum Postimplementierungsbereich. Reichhaltig annotierte medizinische Datensätze mit semantisch relevanten Ideen könnten die „Black-Box“-Technologien entschlüsseln.
In der aktuellen Studie haben die Forscher MONET entwickelt, ein KI-Modell, das medizinische Bilder mit medizinisch relevanten Ideen annotieren kann. Sie entwarfen das Modell, um unterschiedliche menschenverständliche Ideen in der Dermatologie über zwei Bildmodalitäten zu identifizieren: Dermoskopische und klinische Bilder. MONET basiert auf einer kontrastiven Lernmethode, die eine direkte Anwendung einfacher Sprachbeschreibungen auf Bilder ermöglicht, ohne manuelle Etikettierung. Nach dem Training von MONET haben die Forscher dessen Wirksamkeit bei der Annotation und anderen mit KI-Transparenz zusammenhängenden Anwendungsfällen bewertet.
Die Forscher haben MONET auf die automatische Erkennung semantisch relevanter medizinischer Konzepte und Modellfehler getestet und das MA-MONET-Modellaudit-Verfahren entwickelt, um in realen Umgebungen auf mehreren Universitätsdatenbanken trainierte CNN-Modelle zu bewerten. MONET konnte in der Identifikation unterschiedlicher dermatologischer Schlüsselwörter relevante dermoskopische und klinische Bilder finden und hat den Baseline-CLIP-Modell in beiden Bereichen übertroffen.
MONET ist eine flexible Plattform für medizinische KI, die die Annotation von Ideen in dermatologischen Bildern ermöglicht. Die Funktion zur Konzeptannotation von MONET ermöglicht vertrauenswürdige Evaluierungen in der medizinischen KI-Pipeline und kann Abläufe wie Modellinspektionen, Datenaudits und interpretierbare Modellentwicklungen unterstützen. Die Studie ergab, dass Bild-Text-Modelle die KI-Transparenz und Vertrauenswürdigkeit im medizinischen Bereich verbessern können, indem sie eine groß angelegte Annotation von Ideen ermöglichen.