Die Integration von grundlegenden Modellen wie LLMs und VLMs in den Trainingsloop von Reinforcement Learning wird in diesem Beitrag eingehend untersucht. Der Bereich der Computer Vision und der natürlichen Sprachverarbeitung entwickelt sich schnell, was zu einer zunehmenden Nachfrage nach spezialisierten Modellen führt, die für bestimmte Aufgaben feinabgestimmt sind. Die Verwendung verschiedener feinabgestimmter Modelle hat jedoch mehrere Nachteile, wie die Notwendigkeit, für jede Aufgabe ein separates Modell zu speichern und bereitzustellen. Unabhängig feinabgestimmte Modelle können nicht von Informationen aus verwandten Aufgaben profitieren, was ihre Generalisierung über in- und out-of-domain-Aufgaben einschränkt.
Es wird diskutiert, wie man ohne Zugriff auf Datensätze für alle nachgelagerten Aufgaben feinabgestimmte Modelle kombinieren kann, um das gewünschte Modell zu erstellen. Die Fusion mehrerer Modelle erfordert nur leichte Berechnungen und keine zusätzlichen Trainingskosten, was eine effiziente Lösung darstellt. Öffentliche Bibliotheken wie WEBUI und MergeKit wurden entwickelt, um den Merging-Prozess zu erleichtern, wobei verschiedene Merging-Methoden in drei Hauptkategorien unterteilt sind: Modelle mit identischen Architekturen und Initialisierungen, Modelle mit identischen Architekturen, aber unterschiedlichen Initialisierungen und Modelle mit unterschiedlichen Architekturen.
Es werden Techniken zur wirksamen Kombination von Modellen diskutiert, die keine Datenanforderungen haben, wie das Modell-Soup-Merging oder SLERP-Merging. Zudem werden Merge-Methoden erläutert, die eine Datengrundlage erfordern, wie das Fisher-Merging. Methoden wie Git-Rebasin verwenden symmetrische Permutationsansätze, um die Gewichte der Modelle besser auszurichten. Darüber hinaus werden Ansätze wie EvolutionaryOptimization vorgestellt, die automatisch eine optimale Fusion von Grundlagenmodellen ermöglichen und dabei sowohl Evolutionäre Algorithmen als auch Frankenmerging verwenden.
Insgesamt bietet die Untersuchung verschiedener Merging-Techniken für grundlegende Modelle in der Computer Vision und der natürlichen Sprachverarbeitung Einblicke in effiziente Lösungen zur Verbesserung von Modellen und zur Bewältigung von Herausforderungen im Bereich des Reinforcement Learning. Die beschriebenen Methoden bieten Möglichkeiten zur Aggregation von Wissen und zur Effizienzsteigerung ohne zusätzliche Trainingskosten.