Es gibt ein wachsendes Interesse an der Erforschung und Anwendung von Large Language Models, die jedoch nur textuelle Daten verarbeiten können, was ihre Nützlichkeit für einige Anwendungen einschränkt. Im Gegensatz dazu können Menschen Informationen über verschiedene Modalitäten hinweg verarbeiten, wie geschriebene und gesprochene Sprache sowie visuelles Verständnis der Realität um uns herum. Vision-Language-Modelle können sowohl textuelle als auch visuelle Daten verarbeiten und haben ein breites Anwendungsspektrum, wie z.B. Bildanalyse (z.B. medizinische Bilder), Objekterkennung und besseres Verständnis von Szenen (z.B. für selbstfahrende Autos).
Die Herausforderung besteht darin, dass sowohl unimodale als auch multimodale Modelle mit denselben Problemen konfrontiert sind. Einmal trainiert, können sie im Laufe der Zeit veraltet werden, wenn neue Datenproben eintreffen oder sich die Datenverteilung ändert. Durch fortlaufendes Lernen (CL) sollen Möglichkeiten gefunden werden, Modelle kontinuierlich zu trainieren, was eine nachhaltigere Lösung für die Zukunft sein könnte. Dieser Artikel untersucht die Möglichkeiten der Anwendung von CL auf Vision-Language-Modelle, insbesondere auf das CLIP-Modell, das das Verhältnis zwischen Text und einem Bild verstehen soll.
CLIP wurde auf einem großen Datensatz von Text-Bild-Paaren trainiert. Kontrastives Lernen wurde verwendet, um passende Text-Bild-Paare im Einbettungsraum näher zusammenzubringen und nicht übereinstimmende Paare voneinander zu entfernen. Dieser gelernte gemeinsame Einbettungsraum wird dann während der Inferenz verwendet, um die Beziehung zwischen Text und Bildern zu verstehen. Es gibt jedoch Herausforderungen bei der kontinuierlichen Anpassung solcher Modelle, wie beispielsweise katastrophales Vergessen, Verlust der Null-Schuss-Fähigkeit und Missabstimmung zwischen Text- und Bildrepräsentationen.
Bislang gibt es verschiedene Strategien zur Verbesserung des kontinuierlichen Aspekts von multi-modalen Modellen wie CLIP, darunter Mixture of Experts, CoLeCLIP, Continual Language Learning und Symmetric Image-Text Tuning Strategy. Die Evaluierung von CL-Modellen ist jedoch noch teilweise in Arbeit, da viele der bestehenden Benchmarks nicht den Zeitfaktor bei der Konstruktion von Datensätzen berücksichtigen. Es gibt auch Bedenken hinsichtlich der visuellen Einschränkungen von Visual-Language-Modellen wie CLIP, da das Lernen von visuellen Repräsentationen weiterhin eine Herausforderung bleibt. Trotzdem scheint Continual Learning ein vielversprechender Ansatz für die Zukunft von KI-Modellen zu sein, auch wenn noch viel Arbeit zu leisten ist, um es vollständig nutzbar zu machen.