Kritik an OpenAI: Zweifel an der menschlichen Genauigkeit von KI-Transkripten im Gesundheitswesen
Die Herausforderungen der KI-Genauigkeit im Gesundheitswesen: Ein Blick auf OpenAI’s Whisper
In jüngster Zeit hat die Associated Press (AP) auf eine besorgniserregende Diskussion um die Genauigkeit von KI-gestützten Tools im Gesundheitswesen aufmerksam gemacht, insbesondere im Hinblick auf das Transkriptionswerkzeug Whisper von OpenAI. Mehr als ein Dutzend Software-Ingenieure, Entwickler und akademische Forscher äußerten Bedenken zu den Behauptungen von OpenAI, dass ihre Technologie eine menschenähnliche Genauigkeit erreicht.
Warum es wichtig ist
Die Forschungsergebnisse der Universität von Michigan und anderer Institute zeigen, dass KI-generierte "Halluzinationen" zu fehlerhaften Transkripten führen können, einschließlich rassistischer und gewalttätiger Rhetorik sowie falscher medizinischer Behandlungen. Dies könnte gravierende Folgen haben, wenn solche Technologien in die klinische Dokumentation und Entscheidungsfindung integriert werden, was potenziell zu falschen Diagnosen und schlechten Behandlungsentscheidungen führt.
Klinische Technologien wie Hint Health haben die Whisper-API in ihre Anwendungen integriert, um Ärzten die Aufzeichnung und Transkription von Patientengesprächen zu ermöglichen. Über 30.000 Klinikern und 40 Gesundheitssystemen, darunter das Children’s Hospital Los Angeles, verwenden ambient AI von Nabla, das ebenfalls auf Whisper basiert und bereits sieben Millionen medizinische Besuche transkribiert hat.
Sicherheit und Überwachung
Nabla richtete in einem kürzlich veröffentlichten Blogbeitrag hervor, dass das Unternehmen Maßnahmen zur Überwachung der Genauigkeit seiner Modelle ergreift. Sie nutzen Feedback aus manuellen Bearbeitungen, um falsche Inhalte zu erkennen und so die reale Leistungsfähigkeit ihrer Tools zu messen und zu verbessern.
Es ist jedoch von entscheidender Bedeutung, dass Nutzer von Whisper die Einschränkungen der Technologie kennen. OpenAI selbst warnt davor, dass das Tool nicht in "hochriskanten Bereichen" verwendet werden sollte, insbesondere nicht in Entscheidungsfindungskontexten, wo Ungenauigkeiten zu schwerwiegenden Folgen führen können.
Die größere Perspektive
Im September 2023 gab der Staatsanwalt von Texas, Ken Paxton, eine Einigung mit dem Unternehmen Pieces Technologies bekannt, nachdem die generativen KI-Tools des Unternehmensallegiert wurden, die Patientensicherheit gefährdet zu haben. Eine Studie der University of Massachusetts Amherst und der AI-Firma Mendel zeigte ebenfalls eine Vielzahl von Fehlern bei der Produktion medizinischer Notizen durch große Sprachmodelle (LLM).
Die Ergebnisse der Forschung sind alarmierend: In Überprüfungen der medizinischen Notizen von OpenAI’s GPT-4o und Metas Llama-3 fanden die Forscher zahlreiche Ungenauigkeiten, die darauf hinweisen, dass der Einsatz derartiger KI-Tools im Gesundheitsbereich mit Vorsicht genossen werden sollte.
Fazit
Die jüngsten Berichte erfordern ein Umdenken in Bezug auf den Einsatz von KI im Gesundheitswesen. Während diese Technologien das Potenzial haben, die Patientenversorgung zu revolutionieren, müssen ihre Grenzen klar erkannt und berücksichtigt werden. OpenAI hat zwar Schritte unternommen, um die Genauigkeit seiner Modelle zu verbessern, doch die Herausforderungen bleiben.
Die Rückmeldungen von Fachleuten aus der Branche sind ein Schritt in die richtige Richtung, jedoch bleibt abzuwarten, ob und wie schnell notwendige Verbesserungen implementiert werden. Eine verantwortungsvolle und bewusste Integration von KI in klinische Abläufe wird entscheidend sein, um die Sicherheit der Patienten zu gewährleisten und das Vertrauen in technologische Innovationen im Gesundheitswesen zu stärken.
Wenn Sie mehr über den Einsatz von KI im Gesundheitswesen erfahren möchten, abonnieren Sie unseren Blog für weitere Einblicke und aktuelle Entwicklungen.