In den letzten Jahren gab es erhebliche Fortschritte bei künstlicher Intelligenz, insbesondere im Bereich des Deep Learnings, was zu großen Erfolgen in der medizinischen Bilderkennung und Diagnose, in der natürlichen Sprachverarbeitung und in schwierigen Spielen auf Expertenniveau geführt hat. Google hat kürzlich darauf hingewiesen, dass aktuelle Deep-Learning-Modelle oft nur für spezifische Aufgaben trainiert sind und daher bereits gelernte Aufgaben vergessen können, wenn neue Aufgaben hinzukommen. Es wurden mehrere Forschungsansätze vorgestellt, um diese Schwächen zu überwinden, darunter Multi-Task-Learning, Transfer-Learning, Few-Shot-Learning und Lifelong Learning.
Aktuelle lebenslange Lernansätze verwenden in der Regel Replay-, Regularisierungs- und dynamische Architekturmechanismen, die ihre eigenen Nachteile und Herausforderungen haben. Es wäre äußerst nützlich, ein allgemeines Deep-Learning-Modell zu haben, das kontinuierlich neue Aufgaben erlernt, ohne das Gelernte zu vergessen. Google hat kürzlich Pathways als KI-Architektur der nächsten Generation vorgeschlagen. Pathways ist ein allgemeines Modell, das kontinuierliches Lernen ohne katastrophales Vergessen ermöglicht und Wissenstransfer zwischen Aufgaben unterstützt. Es muss auch spärlich sein und mit Multi-Modalität von Daten umgehen können.
Eine Herausforderung von Pathways besteht darin, ein allgemeines Modell für kontinuierliches Lernen von vielen Aufgaben zu entwickeln. Ein Dispatcher-Klassifizierungsmodell wird eingeführt, das lernen soll, welche Teilmodelle aktiviert werden. SEN, Sparse and Expandable Network, hat gezeigt, dass es die drei grundlegenden Herausforderungen von Pathways effektiv lösen kann. SEN besteht aus einem Dispatcher-Klassifizierungsmodell, das die Aktivierung der Teilmodelle steuert, dem Einfrieren von Gewichten bei der Lernaktivität, dem Wissenstransfer zwischen Aufgaben und dem Umgang mit Multi-Modalität von Daten.
Experimente zeigen, dass SEN im Vergleich zu anderen Basislinienmethoden eine starke Leistung bei der Verwaltung von kleinen Datenmengen aufweist und dabei die Herausforderungen von Google Pathways wirksam bewältigt. Der Einsatz von SEN zeigt, wie einfachheit und Effektivität in der KI-Entwicklung von großer Bedeutung sind. Dies unterstreicht die Relevanz dieser Art von Forschung und bietet eine neue Perspektive für KI-Anwendungen in verschiedenen Bereichen.