Menschen nutzen Computer Vision jeden Tag – um ein Smartphone zu entsperren, Benachrichtigungen zu erhalten, wenn ein Paket an ihrer Türschwelle angekommen ist, oder um das Tempolimit auf dem Armaturenbrett ihres Autos zu überprüfen. Computer sehen jedoch nicht auf die gleiche Weise wie Menschen – sie verarbeiten Informationen wie Kanten, Farben oder Muster und interpretieren, was auf dem Bild zu sehen ist. Wenn die Daten, die sie verwenden, um “etwas zu sehen”, beschädigt sind, können computergesteuerte Fahrzeuge schwerwiegende Fehler machen, wie das Lesen eines Stoppschildes als Tempolimitschild. Forscher des Software Engineering Institute der Carnegie Mellon University haben kürzlich den zweiten Platz in einem IEEE CNN Interpretability-Wettbewerb gewonnen für eine neue Methode, die Trojaner, einen Typ von Malware, der absichtlich in Daten eingefügt wird, um Benutzer in die Irre zu führen, entdeckt und für das menschliche Auge sichtbar macht.
In einem folgenden Frage-und-Antwort-Abschnitt erklären SEI’s David Shriver, ein Forscher im Bereich maschinelles Lernen, und Hayden Moore, ein Softwareentwickler, warum das Finden von Trojanern wichtig ist und was als nächstes für das von ihnen entwickelte Werkzeug kommt. Computer Vision ist eine Möglichkeit, ein digitales System digitale Inhalte – Bilder und Videos – interpretieren zu lassen und realistische Beschreibungen dessen zu liefern, was die Bilder sind und was die Videos zeigen. Alltägliche Beispiele sind etwa Sicherheitssysteme, die Benachrichtigungen senden, wenn jemand vor der Kamera steht, oder das Postsystem der Vereinigten Staaten, das Pakete liest und deren Zielorte bestimmt. Computer Vision wird auch in Anwendungen wie autonomen Fahrzeugen eingesetzt, wo die Konsequenzen eines Fehlers erheblich sind.
Die Forscher haben eine Methode namens Feature Embeddings Using Diffusion (FEUD) entwickelt, die generatives künstliches Intelligenz und andere Techniken verwendet, um disruptive Bilder zu finden, die absichtlich dazu führen, dass eine KI eine andere Reaktion zeigt und diese für menschliche Analysten reproduziert. Ihr Ziel ist es, Patches oder kleine Abschnitte von Bildern zu identifizieren, die dazu führen, dass die Modelle falsch funktionieren. Ein Trojaner ist eine Art Schwachstelle oder Sicherheitslücke, die absichtlich in ein Modell eingefügt wird. Es könnte in der realen Welt wie ein unschuldig aussehendes Objekt aussehen, wie beispielsweise ein Blatt oder ein Goldfisch-Aufkleber, etwas, das nicht schädlich aussieht.
Das Interesse der Forscher liegt darin, die Sicherheit von KI-Systemen zu gewährleisten und sicherzustellen, dass sie korrekt funktionieren, ohne dabei beabsichtigte oder unbeabsichtigte Schwachstellen aufweisen, die gefährlich sein könnten. Sie möchten sicherstellen, dass die Systeme nicht manipuliert wurden und können verhindern, dass feindliche oder bösartige Objekte in den Verarbeitungsprozess eingreifen. Als nächster Schritt möchten sie ihre Methode weiterentwickeln, um diese Trojaner zu erkennen und zu neutralisieren.