Neue Algorithmen zur Wiederherstellung der Lernfähigkeit von Deep Learning-Systemen
Die Herausforderungen der Deep Learning Algorithmen: Neue Erkenntnisse der Universität Alberta
Forscher der Universität Alberta haben herausgefunden, dass Deep Learning-Systeme im Laufe der Zeit ihre Lernfähigkeit verlieren. Diese Entdeckung könnte weitreichende Auswirkungen auf die Entwicklung von Künstlicher Intelligenz haben. J. Fernando Hernandez-Garcia, ein Doktorandenstudent im Department of Computing Science, erklärt: „Es handelt sich um ein wenig untersuchtes Phänomen in künstlichen neuronalen Netzwerken, das auftritt, wenn man sie über einen längeren Zeitraum trainiert.“
Das Problem der Plastizität
Die Fähigkeit der künstlichen neuronalen Netzwerke, sich an neue Informationen anzupassen, hängt von der Plastizität ab – der Fähigkeit, neue neuronale Verbindungen zu schaffen. Shibhansh Dohare, Hauptautor der Studie, betont, dass zur Erhaltung dieser Plastizität ein Algorithmus entwickelt werden muss, der ständig neue, vielfältige Neuronen einführt.
Die Lösung: Kontinuierliche Rückpropagation
Das Forschungsteam der Universität Alberta hat den Algorithmus kontinuierliche Rückpropagation (Continual Backpropagation) entwickelt, der die traditionelle Rückpropagation verbessert. Hernandez-Garcia sagt: „Unser Algorithmus scheint sehr effektiv das Problem des Plastizitätsverlustes zu verhindern.“
Kontinuierliche Rückpropagation funktioniert, indem sie die künstlichen Neuronen in einem Netzwerk bewertet. Die Neuronen, die als am wenigsten nützlich eingestuft werden, werden zurückgesetzt, wodurch die ursprüngliche Plastizität wiederhergestellt wird.
Dohare erklärt: „Ursprünglich hatte das Netzwerk beim Lernen einer oder zweier Aufgaben Plastizität, doch über die Zeit ging diese verloren. Das Zurücksetzen bringt sie zurück.“
Neurogenese und ihre Bedeutung für Deep Learning
Eine ähnliche Idee, bekannt als Neurogenese, findet sich bereits in der Neurowissenschaft. Rupam Mahmood, Assistenzprofessor im Department of Computing Science, hebt hervor, dass dieses Konzept in der Künstlichen Intelligenz bisher unerforscht blieb.
Herausforderungen bei der Forschung
Die Forscher mussten umfangreiche Experimente über lange Zeiträume durchführen, was enorme Rechenleistung erfordert. Ihre Ergebnisse bestätigten, dass die Leistung der Systeme bei späteren Aufgaben deutlich schlechter war, was den Plastizitätsverlust bei der Nutzung von Rückpropagation zeigt.
Mahmood fügt hinzu: „Es ist zu erwarten, dass automatisierte Systeme kontinuierlich lernen können. Es ist wichtig, dass die Welt weiß, dass die vorherrschende Methode im Deep Learning, die Rückpropagation, dazu nicht in der Lage ist.“
Die Konsequenzen für die moderne KI
Ein bekanntes Beispiel für Deep Learning ist ChatGPT, das auf bestimmten Datensätzen trainiert wird. Wenn man nach aktuellen Informationen fragt, kann es oft nicht korrekt antworten, weil es nicht kontinuierlich mit neuen Daten trainiert wird. „Aktuelle Deep Learning-Methoden lernen nicht kontinuierlich, sie sind in der Zeit eingefroren“, sagt Mahmood.
Der Weg in die Zukunft
Ohne die Möglichkeit, kontinuierlich zu lernen, müssten Deep Learning-Systeme bei großen Datenmengen neu trainiert werden, was immense Rechenressourcen erfordert. Mahmood betont, dass die Lösung in neuen Algorithmen liegt, die sicherstellen, dass Netzwerke ihre Lernfähigkeit über die Zeit behalten.
„Unsere Arbeit ist ein Testfeld für das, was wir in Zukunft erwarten: Deep Learning-Systeme, die in der realen Welt kontinuierlich lernen“, schließt er.
Fazit
Die Forschung der Universität Alberta zeigt, dass es an der Zeit ist, die Algorithmen im Bereich des Deep Learning zu überdenken. Mit neuen Ansätzen wie der kontinuierlichen Rückpropagation könnte die Fähigkeit der künstlichen neuronalen Netze, sich kontinuierlich anzupassen und zu lernen, revolutioniert werden. Dies könnte erhebliche Fortschritte in der Künstlichen Intelligenz ermöglichen und dazu beitragen, dass diese Systeme auch in komplexen und dynamischen Umgebungen effektiv funktionieren.