Gefährliche Halluzinationen: OpenAI’s Whisper-Telefonsystem gefährdet die Genauigkeit bei medizinischen Transkriptionen

Whisper von OpenAI: Ein leistungsstarkes Werkzeug mit gravierenden Mängeln

In der Technologiewelt hat OpenAI mit seinem KI-gestützten Transkriptionstool Whisper für Aufsehen gesorgt. Die unglaubliche Vielseitigkeit und Robustheit dieser Software wird oft als nahezu „menschlich genau“ gepriesen. Doch hinter diesem beeindruckenden Facettenreichtum verbirgt sich ein entscheidendes Problem: Whisper ist anfällig für sogenannte „Halluzinationen“. Das bedeutet, dass die Software in der Lage ist, bedeutungslose, erfundene Textpassagen oder sogar ganze Sätze zu generieren.

Die Problematik der Halluzinationen

Interviews mit über einem Dutzend Software-Ingenieuren, Entwicklern und Forschungswissenschaftlern haben ergeben, dass diese von Whisper erzeugten Halluzinationen potenziell gefährliche Folgen haben können. Besonders alarmierend ist der Einsatz von Whisper in sensiblen Bereichen, wie im Gesundheitswesen, wo medizinische Transkripte aus Arztgesprächen erstellt werden. Trotz der Warnungen von OpenAI, das Programm nicht in „hochriskanten Bereichen“ zu verwenden, setzen immer mehr Kliniken auf Whisper, um die Interaktionen mit Patienten zu transkribieren.

Eine Studie an der Universität Michigan zeigte, dass Forscher bei acht von zehn untersuchten Transkripten Halluzinationen fanden. Ein anderer Entwickler stellte fest, dass etwa die Hälfte der über 100 Stunden an Whisper-Transkripten fehlerhafte Informationen enthielt. Ein Drittel der Experten stellte sogar fest, dass sie in jeder der 26.000 Transkripte Halluzinationen entdeckten, die sie mit Whisper erstellt hatten.

Die Gefahren von fehlerhaften Transkripten

Diese fehlerhaften Transkripte könnten schwerwiegende Konsequenzen nach sich ziehen. Alondra Nelson, ehemalige Leiterin des Büros für Wissenschaft und Technologie der Biden-Administration, warnte vor den Gefahren von Fehlinterpretationen – insbesondere im medizinischen Kontext. „Niemand möchte eine Fehldiagnose“, sagte Nelson. „Es sollte eine höhere Messlatte geben.“

Ein weiteres besorgniserregendes Beispiel ist die Verwendung von Whisper zur Erstellung von Untertiteln für Gehörlose und schwerhörige Menschen. Diese Benutzer haben keinerlei Möglichkeit, die erfundenen Inhalte zu erkennen, die sich inmitten anderer Texte verbergen. Christian Vogler von der Gallaudet University betont: „Es gibt kein visuelles Feedback, um festzustellen, was tatsächlich gesagt wurde.“

Aufruf zur Problemlösung

Die hohe Anzahl solcher Halluzinationen hat Experten und Befürworter dazu veranlasst, zu fordern, dass die Bundesregierung Regulierungsmöglichkeiten für KI in Betracht zieht. OpenAI wird geraten, diese Problematik dringend zu adressieren. „Das scheint lösbar zu sein, wenn das Unternehmen bereit ist, es zu priorisieren“, sagte der ehemalige OpenAI-Forscher William Saunders.

OpenAI hat erklärt, dass das Unternehmen ständig daran arbeitet, Halluzinationen zu reduzieren, und stellte klar, dass sie Feedback aus Forschungsergebnissen in ihre Modellaktualisierungen einbeziehen. Dennoch weisen viele Entwickler darauf hin, dass sie noch nie ein anderes KI-gestütztes Transkriptionstool gesehen haben, das so häufig halluziniert wie Whisper.

Die Risiken im Gesundheitswesen

Trotz der Warnungen von OpenAI sind Krankenhaus- und medizinische Einrichtungen nicht von der Verwendung von Whisper-basierten Tools abgehalten worden. So haben über 30.000 Kliniker und 40 Gesundheitssysteme, darunter Einrichtungen wie die Mankato Clinic in Minnesota und das Children’s Hospital Los Angeles, bereits auf solche Technologien zurückgegriffen. Diese Tools werden angepasst, um medizinisches Fachvokabular zu verstehen und die Interaktionen mit Patienten zusammenzufassen.

Die Tatsache, dass die ursprünglichen Audiodateien aus Datenschutzgründen gelöscht werden, erschwert es den Klinikern zusätzlich, Fehler nachzuvollziehen. „Sie können Fehler nicht erkennen, wenn Sie die Grundlage dafür entfernen“, warnte Saunders.

Datenschutzbedenken

Die Vertraulichkeit von Patientengesprächen macht es schwierig festzustellen, wie sich KI-gestützte Transkripte auf die Patientenversorgung auswirken. Ein Beispiel für diese Sorgen ist die California State Lawmaker Rebecca Bauer-Kahan, die sich weigerte, einem Netzwerk zuzustimmen, das Audioaufzeichnungen von Arztbesuchen mit Technologieanbietern, darunter Microsoft Azure, teilen wollte. „Ich war absolut dagegen“, betonte Bauer-Kahan.

Fazit

Whisper von OpenAI stellt ein vielversprechendes, aber momentan unzuverlässiges Werkzeug dar. Die Herausforderungen der Halluzinationen und ihre potenziell gravierenden Folgen erfordern dringende Aufmerksamkeit und Maßnahmen. Während die Innovation in der KI-Transkription voranschreitet, ist es entscheidend, dass sicherheits- und datenschutzrelevante Standards eingehalten werden, um das Vertrauen in solche Technologien zu gewährleisten und Fehler in kritischen Bereichen, insbesondere der medizinischen Versorgung, zu vermeiden.