Unsere Gehirne lernen ständig Neues. Erinnerungen an Erfahrungen wie ein großartiges Sandwich-Deli oder eine zu meidende Tankstelle werden im Gehirn umgeschaltet. Während des Schlafs werden die Erinnerungen des vorherigen Tages in andere Teile des Gehirns für die Langzeitspeicherung übertragen, um Platz für neue Erfahrungen am nächsten Tag zu schaffen. Das Gehirn kann also fortlaufend unsere Alltagsleben aufnehmen, ohne den Zugang zu früheren Erinnerungen zu verlieren.
Im Gegensatz dazu haben KI-Modelle wie GPT-4 Schwierigkeiten damit, kontinuierlich zu lernen. Modelle, die auf tiefem Lernen basieren, verlieren mit der Zeit die Fähigkeit, dazu zu lernen. Die Veränderung der Stärke der Verbindungen zwischen künstlichen Neuronen durch das Zuführen von Daten führt dazu, dass KI letztendlich Muster in den Daten lernt und diese Muster für die Generierung von eloquenten Antworten verwendet. Die Systeme bleiben jedoch weitgehend starr und müssen oft neu trainiert werden, was Millionen von Dollar kostet.
Eine neue Studie hat nun einen Weg gefunden, das Problem der kontinuierlichen Weiterbildung zu lösen. Ein selektives Zurücksetzen einiger künstlicher Neuronen nach einer Aufgabe ermöglicht es tiefen Lernalgorithmen, eine hohe Genauigkeit bei verschiedenen Aufgaben beizubehalten. Dieser Ansatz, der als kontinuierliches Backpropagation bezeichnet wird, ist eine der ersten von vielen Methoden, die entwickelt wurden, um mit dem Problem des kontinuierlichen Lernens bei KI umzugehen.
Die Herausforderung besteht darin, dass tiefe Lernalgorithmen nicht so flexibel sind wie das menschliche Gehirn. Sie vergessen vorherige Erfahrungen, wenn sie für neue Aufgaben trainiert werden, was als katastrophales Vergessen bezeichnet wird. Die kontinuierliche Backpropagation ermöglicht es den künstlichen neuronalen Netzwerken, ihre Lernfähigkeit beizubehalten und sich an neue Informationen anzupassen. Dieser Ansatz könnte dazu beitragen, KI-Systeme zu entwickeln, die wie Menschen flexibel auf die sich ständig ändernde Welt reagieren können.