Eine Lösung für kontinuierliches Lernen ist buchstäblich eine Milliarden-Dollar-Frage. Eine neue Studie hebt eine eklatante Lücke in der Fähigkeit von KI-Modellen hervor, neue Informationen zu lernen: es stellt sich heraus, dass sie es nicht können. Laut der in dieser Woche veröffentlichten Studie, die von einem Team von Wissenschaftlern an der University of Alberta in Kanada durchgeführt wurde und im Journal Nature veröffentlicht wurde, versagen KI-Algorithmen, die über tiefes Lernen trainiert wurden, in “kontinuierlichen Lerneinstellungen”, oder wenn neue Konzepte in das bestehende Training eines Modells eingeführt werden. Wenn Sie also dem bestehenden KI-Modell etwas Neues beibringen möchten, müssen Sie es wahrscheinlich von Grund auf neu trainieren, da ansonsten die künstlichen Neuronen in ihren sprichwörtlichen Köpfen auf einen Wert von Null sinken. Dies führt zu einem Verlust an “Plastizität”, oder ihrer Fähigkeit überhaupt zu lernen.
Das Phänomen des Plastizitätsverlustes ist auch ein großer Graben zwischen den aktuellen KI-Modellen und der vorgestellten “künstlichen allgemeinen Intelligenz”, oder einer theoretischen KI, die als allgemein so intelligent angesehen werden würde wie Menschen. Im menschlichen Sinne wäre dies wie wenn wir jedes Mal, wenn wir einen neuen College-Kurs besuchen, unser Gehirn vollständig neu starten müssten, damit wir nicht die meisten unserer Neuronen zerstören. Wenn es einen Hoffnungsschimmer für KI-Unternehmen gibt, ist es aufregend, dass die Autoren der Studie einen Algorithmus entwickeln konnten, der bestimmte beschädigte oder “tot” geglaubte KI-Neuronen zufällig wiederbeleben kann, was sich als teilweise erfolgreich erwiesen hat, das Plastizitätsproblem zu bekämpfen. Dennoch ist eine praktische Lösung derzeit noch nicht greifbar.
Wie die Forscher betonen, ist das Training von fortschrittlichen KI-Modellen ein umständlicher und extrem teurer Prozess. Dies stellt ein erhebliches finanzielles Hindernis für KI-Unternehmen dar, die ohnehin schon eine Menge Geld verbrennen. “Wenn das Netzwerk ein großes Sprachmodell ist und die Daten einen erheblichen Teil des Internets ausmachen, kann jede Neuschulung Millionen von Dollar an Berechnungen kosten”, heißt es in der Studie. “Eine Lösung für kontinuierliches Lernen ist buchstäblich eine Milliarden-Dollar-Frage”, sagte Dohare gegenüber New Scientist. “Eine wirkliche, umfassende Lösung, die es Ihnen ermöglichen würde, ein Modell kontinuierlich zu aktualisieren, würde die Kosten für das Training dieser Modelle erheblich reduzieren.