In der jüngsten Forschung zu der Erkennung von Emotionen in der Sprache wurden signifikante Fortschritte bei der Anwendung von Deep-Learning-Technologien in verschiedenen Anwendungen hervorgehoben. Allerdings sind diese Deep-Learning-Modelle anfällig für adversarielle Angriffe. Ein Team von Forschern an der Universität von Mailand hat systematisch den Einfluss von White-Box- und Black-Box-Angriffen auf verschiedene Sprachen und Geschlechter innerhalb der Erkennung von Emotionen in der Sprache untersucht. Die Forschung wurde am 27. Mai in Intelligent Computing, einem Science Partner Journal, veröffentlicht.
Die Forschung betont die erhebliche Anfälligkeit von faltenden neuronalen Netzwerk-Long-Short-Term-Memory-Modellen für adversarielle Beispiele, die sorgfältig gestaltete “gestörte” Eingaben sind, die dazu führen, dass die Modelle fehlerhafte Vorhersagen treffen. Die Ergebnisse deuten darauf hin, dass alle betrachteten adversariellen Angriffe die Leistung von Modellen zur Erkennung von Emotionen in der Sprache erheblich beeinträchtigen können. Laut den Autoren könnte die Anfälligkeit dieser Modelle für adversarielle Angriffe “ernsthafte Konsequenzen haben”.
Die Forscher schlugen eine Methodik für die Audiobearbeitung und Merkmalsextraktion vor, die auf die Architektur des faltenden neuronalen Netzwerk-Long-Short-Term-Memory zugeschnitten ist. Sie untersuchten drei Datensätze, EmoDB für Deutsch, EMOVO für Italienisch und RAVDESS für Englisch. Sie verwendeten den Fast Gradient Sign Method, den Basic Iterative Method, DeepFool, den auf Jacobi basierenden Saliency Map Attack und Carlini und Wagner für White-Box-Angriffe sowie den One-Pixel Attack und Boundary Attack für Black-Box-Szenarien.
Die Black-Box-Angriffe, insbesondere der Boundary Attack, erzielten beeindruckende Ergebnisse, obwohl sie nur begrenzten Zugriff auf die internen Abläufe der Modelle hatten. Obwohl die White-Box-Angriffe keine solchen Einschränkungen hatten, übertrafen die Black-Box-Angriffe sie manchmal; das heißt, sie erzeugten adversarielle Beispiele mit überlegener Leistung und geringerer Störung. Die Autoren sagten: “Diese Beobachtungen sind alarmierend, da sie darauf hindeuten, dass Angreifer möglicherweise bemerkenswerte Ergebnisse erzielen können, ohne das interne Funktionieren des Modells zu verstehen, einfach indem sie seine Ausgabe überprüfen.”
Die Forschung berücksichtigte eine geschlechtsspezifische Perspektive, um die unterschiedlichen Auswirkungen von adversariellen Angriffen auf männliche und weibliche Sprache sowie auf die Sprache in verschiedenen Sprachen zu untersuchen. Bei der Bewertung der Auswirkungen von Angriffen in drei Sprachen wurden nur geringfügige Leistungsunterschiede festgestellt. Englisch schien am anfälligsten zu sein, während Italienisch den höchsten Widerstand zeigte. Die detaillierte Untersuchung von männlichen und weiblichen Proben ergab eine leichte Überlegenheit bei männlichen Proben, die vor allem in White-Box-Angriffsszenarien etwas geringere Genauigkeit und Störungen aufwiesen. Die Variationen zwischen männlichen und weiblichen Proben waren jedoch vernachlässigbar.
“Wir haben einen Prozess entwickelt, um Proben über die 3 Sprachen zu standardisieren und Log-Mel-Spektrogramme zu extrahieren. Unsere Methodik umfasste die Erweiterung von Datensätzen mittels Tonhöhenverschiebung und Zeitstreckungstechniken, wobei eine maximale Probenlänge von 3 Sekunden beibehalten wurde”, erklärten die Autoren. Zusätzlich verwendete das Team zur Sicherstellung methodischer Konsistenz dieselbe Architektur des faltenden neuronalen Netzwerk-Long-Short-Term-Memory für alle Experimente.
Obwohl die Veröffentlichung von Forschungsergebnissen, die Schwachstellen in Modellen zur Erkennung von Emotionen in der Sprache aufzeigen, Angreifern wertvolle Informationen liefern könnte, könnte das Nichtteilen dieser Erkenntnisse potenziell noch schädlicher sein. Die Transparenz in der Forschung ermöglicht es sowohl Angreifern als auch Verteidigern, die Schwächen dieser Systeme zu verstehen. Indem man diese Schwachstellen bekannt macht, können Forscher und Praktiker ihre Systeme besser vor potenziellen Bedrohungen vorbereiten und schützen, was letztendlich zu einer sichereren technologischen Landschaft beiträgt.