Menschen nutzen Computer Vision jeden Tag – um ein Smartphone zu entsperren, Benachrichtigungen zu erhalten, wenn ein Paket vor ihrer Haustür angekommen ist, oder um die Geschwindigkeitsbegrenzung auf dem Armaturenbrett ihres Autos zu überprüfen. Computer sehen jedoch nicht auf die gleiche Weise wie Menschen – sie verarbeiten Informationen wie Kanten, Farben oder Muster und interpretieren, was das Bild zeigt. Wenn die Daten, die sie verwenden, um etwas zu “sehen”, korrupt sind, können computergesteuerte Fahrzeuge zu schwerwiegenden Fehlern führen, wie zum Beispiel ein Stoppschild als Geschwindigkeitsbegrenzungsschild zu lesen. Forscher des Software Engineering Institute der Carnegie Mellon University haben kürzlich den zweiten Platz in einem IEEE CNN Interpretationswettbewerb gewonnen für eine neue Methode, die Trojaner erkennt, eine Art von Malware, die absichtlich in Daten eingefügt wird, um Benutzer zu täuschen, und macht sie für das menschliche Auge sichtbar.
Computer Vision ist eine Möglichkeit, dass ein digitales System digitalen Inhalt – Bilder und Videos – interpretiert und realistische Beschreibungen dessen liefert, was die Bilder sind und was die Videos zeigen. Ein Sicherheitssystem, das Sie alarmiert, wenn jemand vor die Kamera tritt, die US-Post verwendet Computer Vision, um Ihr Paket zu lesen und den Weg zu zeigen oder Zoom verwendet Computer Vision, um Ihren Hintergrund zu verwischen. Es gibt viele Bereiche, in denen Menschen mit Computer Vision interagieren, ohne es zu bemerken. Die meisten Anwendungen sind ziemlich harmlos, aber es gibt neue Anwendungen wie autonome Fahrzeuge, bei denen die Folgen eines Versagens recht signifikant sind.
Wir haben eine Methode namens Feature Embeddings Using Diffusion (FEUD) entwickelt. Es verwendet generative Künstliche Intelligenz und andere Techniken, um störende Bilder zu finden, die absichtlich eine AI veranlassen, eine andere Antwort zu geben, und macht diese für menschliche Analysten sichtbar. FEUDs echte Magie besteht darin, wie gut es die visuellen Daten in den entdeckten Trojanern in ein visuelles Bild transformiert, das ein menschlicher Analyst erkennen würde. Ein AI-Modell ist ein Programm, das automatisch aus einem großen Satz von Beispielen extrahierte Muster verwendet, um eine Aufgabe zu erfüllen. Angreifer könnten Daten online einfügen und hoffen, dass sie von AI-Systemen übernommen werden, um Trojaner einzufügen.
Ein Trojaner ist ein Typ von Schwachstelle oder mangelnde Sicherheit, die absichtlich in ein Modell eingefügt wurde. In der realen Welt könnten sie wie etwas aussehen, was man im Alltag sieht, wie beispielsweise ein Blatt oder ein Goldfisch-Sticker, etwas, das nicht schädlich aussieht. Einer der Interessen an dieser Art von Forschung besteht darin, sicherzustellen, dass AI-Systeme sicher verwendet werden können und dass keine Trojaner eingefügt sind. Der nächste Schritt besteht darin, die Modelle sicherer zu machen und herauszufinden, wie man Trojaner reduzieren kann, nachdem sie gefunden wurden. Das Ergebnis ist noch sehr experimentell und weitere Experimente werden durchgeführt, um die Wirksamkeit der Methode zu zeigen.