Yoshua Bengio, Gewinner des Turing Awards und Pionier im Bereich des Deep Learning, hat sich Safeguarded AI als wissenschaftlicher Direktor angeschlossen. Das von der britischen Regierung unterstützte Projekt zielt darauf ab, ein KI-System zu entwickeln, das in der Lage ist, Risiken, die von anderen KI-Agenten ausgehen, zu überwachen und zu mindern, um effektiv einen “Torwächter” für die KI-Sicherheit zu schaffen. Dieses Torwächtersystem soll hypothetisch in der Lage sein, autonome KI-Agenten zu überwachen und deren Interaktionen zu verstehen, um sicherzustellen, dass sie nur innerhalb festgelegter Sicherheitsgrenzen operieren.
Eine von der Gruppe verfasste These legt nahe, dass das Torwächtersystem nicht nur die Risiken von fortschrittlicher KI reduzieren und deren Einsatz in sicherheitskritischen Anwendungen ermöglichen würde, sondern auch das Potenzial von fortschrittlicher KI in geschäftskritischen Anwendungen und kommerziellen Aktivitäten, in denen Zuverlässigkeit entscheidend ist, freisetzen würde. Safeguarded AI hat eine beträchtliche Investition in Höhe von 75 Millionen US-Dollar von der britischen Regierung erhalten, die Finanzmittel für die nächsten vier Jahre bereitstellt. Nun hat eines der größten Namen in der KI diese Initiative unterstützt.
Bengio, davidad und die anderen Forscher von Safeguarded schlagen vor, dass dieser Ansatz möglicherweise durchaus realistische Sicherheitsgarantien liefern könnte, während er gleichzeitig wettbewerbsfähig mit KI-Systemen bleibt, die solche Garantien nicht bieten. Sie betrachten verschiedene Ansätze innerhalb des GS AI-Rahmens als komplementäre Forschungs- und Entwicklungsbemühungen, die ein Portfolio von Strategien zur Gewährleistung der KI-Sicherheit bilden.
Zusätzlich zur Verpflichtung von Bengio hat das Safeguarded-Projekt auch seinen Finanzierungsausschreibung für potenzielle Organisationen gestartet, die interessiert sind, das Gatekeeper-KI-System zu nutzen, um ihre Produkte zu schützen. Safeguarded zielt darauf ab, das Tool auf anwendungsspezifische Anwendungen anzuwenden, insbesondere zur Optimierung von Energienetzen, klinischen Studien oder Telekommunikationsnetzen. Unternehmen haben bis zum 2. Oktober Zeit, sich zu bewerben.