Auf der Defcon-Hackerkonferenz 2023 in Las Vegas haben namhafte KI-Technologieunternehmen mit Gruppen für algorithmische Integrität und Transparenz zusammengearbeitet, um Tausende von Teilnehmern auf generative KI-Plattformen zu hetzen und Schwachstellen in diesen kritischen Systemen zu finden. Diese “Red-Teaming”-Übung, die auch Unterstützung von der US-Regierung erhielt, war ein Schritt hin zur Öffnung dieser immer einflussreicher werdenden, jedoch undurchsichtigen Systeme für Überprüfungen. Die ethische KI- und algorithmische Bewertungsorganisation Humane Intelligence geht jetzt noch einen Schritt weiter. Am Mittwoch kündigte die Gruppe einen Aufruf zur Teilnahme mit dem US National Institute of Standards and Technology an und lud alle US-Bürger zur Teilnahme an der Qualifikationsrunde eines landesweiten Red-Teaming-Projekts ein, um KI-Office-Produktivitätssoftware zu bewerten.
Die Qualifikationsrunde wird online stattfinden und steht sowohl Entwicklern als auch der breiten Öffentlichkeit im Rahmen von NIST’s KI-Herausforderungen, bekannt als Assessing Risks and Impacts of AI, oder ARIA, offen. Teilnehmer, die die Qualifikationsrunde bestehen, werden Ende Oktober an einem persönlichen Red-Teaming-Event im Rahmen der Conference on Applied Machine Learning in Information Security (CAMLIS) in Virginia teilnehmen. Das Ziel ist es, die Fähigkeiten zur Durchführung rigoroser Tests der Sicherheit, Widerstandsfähigkeit und Ethik von generativen KI-Technologien zu erweitern.
Die Abschlussveranstaltung bei CAMLIS wird die Teilnehmer in ein rotes Team, das versucht, die KI-Systeme anzugreifen, und ein blaues Team, das an der Verteidigung arbeitet, aufteilen. Die Teilnehmer werden NISTs KI-Risikomanagementframework, bekannt als AI 600-1, verwenden, um zu messen, ob das rote Team in der Lage ist, Ergebnisse zu erzielen, die dem erwarteten Verhalten der Systeme zuwiderlaufen. Chowdhury und Skeadas sagen, dass die Partnerschaft mit NIST nur eine von mehreren KI-Red-Team-Kooperationen ist, die Humane Intelligence in den kommenden Wochen mit US-Regierungsbehörden, internationalen Regierungen und NGOs bekannt geben wird. Das Ziel ist es, dafür zu sorgen, dass Unternehmen und Organisationen, die jetzt Black-Box-Algorithmen entwickeln, Transparenz und Rechenschaftspflicht durch Mechanismen wie “Bias-Belohnungsherausforderungen” anbieten, bei denen Personen belohnt werden können, die Probleme und Ungleichheiten in KI-Modellen finden.
“Die Community sollte breiter aufgestellt sein als nur Programmierer,” sagt Skeadas. “Politiker, Journalisten, die Zivilgesellschaft und nichttechnische Personen sollten alle am Prozess der Prüfung und Bewertung dieser Systeme beteiligt sein. Und wir müssen sicherstellen, dass weniger repräsentierte Gruppen wie Personen, die Minderheitensprachen sprechen oder aus nicht vorherrschenden Kulturen und Perspektiven stammen, am Prozess teilnehmen können.”