LLMs sind in den letzten Jahren exponentiell leistungsfähiger geworden, was die Möglichkeit, dass sie ’emergente’ Fähigkeiten wie das Schlussfolgern oder Planen erwerben könnten, zu einer anhaltenden Sorge gemacht hat. Die weitgehend ‘Black Box’-Art und Weise, wie LLMs arbeiten, hat zu dieser Idee beigetragen, da selbst diejenigen, die an KI arbeiten, oft nicht erklären können, welche Fähigkeiten LLMs wie ChatGPT zeigen konnten. Eine neue Studie behauptet jedoch, diese Ängste zu zerstreuen, indem sie zeigt, dass innerhalb von LLMs kein Schließen stattfindet. Laut der Studie ist das, was uns manchmal als Schlussfolgern erscheint, tatsächlich nur kontextuelles Lernen (ICL), bei dem LLMs neue Informationen auf der Grundlage eines Satzes von Beispielen, die ihnen zur Verfügung gestellt wurden, ‘lernen’ können. Über Tausende von Experimenten zeigte das Forschungsteam, dass die Fähigkeit, Anweisungen zu befolgen (ICL) – kombiniert mit Gedächtnis und sprachlicher Kompetenz – für die Fähigkeiten und Einschränkungen verantwortlich ist, die von heutigen LLMs gezeigt werden.
„Die Angst bestand darin, dass Modelle immer größer werden und neue Probleme lösen können, die wir derzeit nicht vorhersagen können, was die Bedrohung birgt, dass diese größeren Modelle gefährliche Fähigkeiten wie Schlussfolgern und Planen erwerben könnten“, sagte Studienmitautor Dr. Tayyar Madabushi, ein Informatiker an der Universität Bath. Die von Professorin Iryna Gurevych an der Technischen Universität Darmstadt in Deutschland geleitete Studie führte Experimente durch, um die Fähigkeit von LLMs zu testen, Aufgaben zu erledigen, mit denen Modelle noch nie konfrontiert wurden. Während es keine Hinweise auf diese ’emergenten’ Fähigkeiten gab, wiesen die Forscher darauf hin, dass die KI von heute immer noch erhebliche Risiken birgt, jedoch nicht die existenzielle Bedrohung, die uns aus Science-Fiction bekannt ist und von der viele glauben, dass sie heute bevorsteht.
„Unsere Ergebnisse bedeuten nicht, dass KI überhaupt keine Bedrohung darstellt“, sagte Professor Gurevych. „Vielmehr zeigen wir, dass das vermeintliche Aufkommen komplexer Denkfähigkeiten, die mit spezifischen Bedrohungen verbunden sind, nicht durch Beweise gestützt wird und dass wir den Lernprozess von LLMs sehr gut kontrollieren können. Zukünftige Forschungen sollten sich daher auf andere von den Modellen ausgehende Risiken konzentrieren, wie z.B. ihre potenzielle Verwendung zur Erzeugung von Fake News.“ Die Studie wurde im Rahmen der Tagungsunterlagen des 62. Jahreskongresses der Vereinigung für Computerverarbeitung in Sprache (ACL 2024) veröffentlicht – einer international führenden Konferenz für die Verarbeitung natürlicher Sprache.