Forscher berichten, dass ein KI-gestütztes Transkriptionswerkzeug in Krankenhäusern Dinge erfindet, die niemals gesagt wurden.

Forscher berichten, dass ein KI-gestütztes Transkriptionswerkzeug in Krankenhäusern Dinge erfindet, die niemals gesagt wurden.

„Whisper von OpenAI: Exzellente Transkription mit gefährlichen Halluzinationen – Experten warnen vor unerkannten Risiken“

Die Schattenseite von OpenAI’s Whisper: Halluzinationen und ihre Folgen

In der Welt der künstlichen Intelligenz hat OpenAI mit seinem Transkriptionstool Whisper viel Lob für seine angebliche „menschenähnliche Genauigkeit“ erhalten. Doch hinter dieser Fassade verbirgt sich eine ernsthafte Herausforderung: Whisper neigt dazu, falsche Informationen zu erzeugen – ein Phänomen, das in der Branche als „Halluzinationen“ bekannt ist. Diese Art der Fehler hat weitreichende Implikationen, insbesondere in sensiblen Bereichen wie der Gesundheitsversorgung.

Die Problematik der Halluzinationen

Experten aus verschiedenen Bereichen – von Software-Entwicklern bis hin zu akademischen Forschern – haben festgestellt, dass Whisper häufig nicht nur Worte falsch transkribiert, sondern ganze Sätze oder Konzepte erfindet. Diese Halluzinationen reichen von beleidigenden Kommentaren bis hin zu erfundenen medizinischen Behandlungen, was besonders alarmierend ist, da Whisper zunehmend in vielen Branchen zur Transkription von Interviews, zur Erstellung von Untertiteln und zur Übersetzung verwendet wird.

Ein Forscher der Universität Michigan berichtete, dass er in 80 % der von ihm untersuchten Transkriptionen Halluzinationen fand. Eine andere Analyse ergab, dass bei über 13.000 klaren Audiomustern 187 Halluzinationen identifiziert wurden. Wenn man die wahrscheinliche Anzahl fehlerhafter Transkriptionen über Millionen von Aufnahmen in Betracht zieht, wird das Ausmaß des Problems klar.

Risiken in der Gesundheitsversorgung

Besonders beunruhigend ist die Verwendung von Whisper in medizinischen Einrichtungen, um Patientengespräche zu transkribieren. Trotz der Warnungen von OpenAI, dass das Tool nicht in „kritischen Anwendungsbereichen“ eingesetzt werden sollte, haben zahlreiche Kliniken – darunter über 30.000 Ärzte und 40 Gesundheitssysteme – bereits Whisper-basierte Werkzeuge implementiert. Die Konsequenzen können gravierend sein. Wie Alondra Nelson, ehemalige Leitung des White House Office of Science and Technology Policy, betont: „Niemand möchte eine Fehldiagnose.“

Diese Halluzinationen können für gehörlose oder schwerhörige Menschen besonders schädlich sein, da sie keine Möglichkeit haben, fehlerhafte Informationen zu identifizieren, die sich unter präzisen Transkriptionen verbergen.

Der Aufruf zur Regulierung

Die alarmierenden Berichte über die Halluzinationen von Whisper haben Experten, Interessenvertretungen und ehemalige OpenAI-Mitarbeiter dazu veranlasst, die Bundesregierung aufzufordern, AI-Richtlinien in Betracht zu ziehen. „Das scheint lösbar zu sein, wenn das Unternehmen bereit ist, es zu priorisieren“, sagt William Saunders, ein ehemaliger Ingenieur bei OpenAI. „Es ist problematisch, wenn dies veröffentlicht wird und Menschen zuversichtlich sind, was es tun kann, und es in andere Systeme integrieren.“

OpenAI hat erklärt, dass das Unternehmen kontinuierlich daran arbeitet, die Halluzinationen zu reduzieren, und dass es Feedback in die Aktualisierungen des Modells einbezieht. Dennoch bleibt der Konsens unter Entwicklern, dass Whisper in Bezug auf Halluzinationen einzigartig ist.

Fazit: Die Herausforderung der KI

Whisper ist mehr als nur ein Transkriptionstool; es wird in einer Vielzahl von Anwendungen weltweit genutzt, was bedeutet, dass seine Mängel nicht ignoriert werden können. Mit einem wachsenden Einsatz in der Gesundheitsversorgung und Sensibilität des Themas ist es unerlässlich, dass nutzt beständig überwacht und verbessert wird. Künstliche Intelligenz hat das Potenzial, unsere Welt zu transformieren, doch nur solange wir die Risiken und Herausforderungen, die sie mit sich bringt, ernsthaft angehen und regulieren.

Bleiben Sie gespannt auf künftige Entwicklungen in der KI, während wir weiterhin die Balance zwischen Innovation und Verantwortung suchen.