Detektoren können KI-generierten Text erkennen, wenn dieser keine Bearbeitungen oder “Tarnungen” enthält. Aktuelle Detektoren sind jedoch nicht zuverlässig in der Lage, KI-generierten Text zu erkennen, wenn dieser manipuliert wurde. Seit der Veröffentlichung von GPT-2 im Jahr 2019 sind große Sprachmodellwerkzeuge immer besser geworden, Texte zu produzieren, die von Menschen oft nicht von algorithmisch erstelltem Text zu unterscheiden sind.
Trotz der Zeit- und Kreativitätseinsparungen bei der Nutzung dieser Sprachmodelle besteht die Gefahr von Missbrauch und schädlichen Auswirkungen, die bereits in verschiedenen Informationsbereichen sichtbar sind. Die Unfähigkeit, maschinengenerierten Text zu erkennen, verstärkt das Potenzial für Schäden.
Akademiker und Unternehmen versuchen, die Erkennung dieses Textes zu verbessern, indem sie selbst Maschinen einsetzen. Machine-Learning-Modelle können feine Muster von Wortwahl und grammatikalischen Konstruktionen identifizieren, um LMM-generierte Texte besser zu erkennen als menschliche Intuition es kann.
Das Forschungsteam hat den Robust AI Detector (RAID) entwickelt, der eine Datenbank mit über 10 Millionen Dokumenten über Rezepte, Nachrichtenartikel, Blogbeiträge und mehr umfasst, die sowohl KI- als auch menschenerzeugte Texte enthalten. RAID dient als standardisierter Benchmark zur Überprüfung der Erkennungsfähigkeiten von aktuellen und zukünftigen Detektoren. Zusätzlich haben sie ein Ranking erstellt, das die Leistung aller Detektoren, die mit RAID getestet wurden, auf transparente Weise öffentlich bewertet.
Aktuelle Detektoren haben laut RAID gezeigt, dass viele nicht so zuverlässig sind, wie sie behaupten. Fehlerhafte Detektoren sind nicht nur ein Problem, weil sie nicht gut funktionieren, sondern sie können genauso gefährlich sein wie das KI-Tool, das den Text generiert hat.
Die Studie kommt zu dem Schluss, dass eine offene Bewertung von Detektoren anhand großer, vielfältiger, gemeinsam genutzter Ressourcen entscheidend ist, um den Fortschritt und das Vertrauen in die Erkennung zu beschleunigen. Transparenz wird zur Entwicklung von Detektoren führen, die in verschiedenen Anwendungsfällen standhalten. Liam Dugan und Chris Callison-Burch arbeiteten mit mehreren anderen Forschern an dieser Studie, die sich darauf konzentrierte, die Zuverlässigkeit und Sicherheit von KI-Werkzeugen zu verbessern und ihre Integration in die Gesellschaft voranzutreiben.