LLMs sind in der natürlichen Sprachverarbeitung führend, erfordern jedoch viele Ressourcen, was ihre Zugänglichkeit einschränkt. Kleinere Modelle wie MiniCPM bieten bessere Skalierbarkeit, erfordern jedoch oft gezielte Optimierungen, um eine gute Leistung zu erzielen. Texteinbettungen, vektorielle Darstellungen, die semantische Informationen erfassen, sind für Aufgaben wie die Dokumentenklassifizierung und Informationsabfrage unerlässlich. Während große LLMs wie GPT-4, LLaMA und Mistral aufgrund ihres umfangreichen Trainings starke Leistungen erbringen, benötigen kleinere Modelle wie Gemma, Phi und MiniCPM spezifische Optimierungen, um die Leistungslücke zu schließen und effizient zu bleiben.
Forscher der Tsinghua-Universität untersuchten Möglichkeiten, kleinere Sprachmodelle durch Verbesserung ihrer Texteinbettungen zu optimieren. Sie konzentrierten sich auf drei Modelle – MiniCPM, Phi-2 und Gemma – und wandten kontrastives Feintuning unter Verwendung des NLI-Datensatzes an. Die Ergebnisse zeigten, dass diese Methode die Texteinbettungsqualität signifikant verbesserte, wobei MiniCPM einen bemerkenswerten Leistungszuwachs von 56,33% zeigte. Diese Forschung adressiert die fehlende Fokussierung auf kleinere Modelle und soll MiniCPM effektiver für ressourcenlimitierte Anwendungen machen, was sein Potenzial neben anderen Modellen wie Gemma und Phi-2 nach dem Feintuning zeigt.
Texteinbettungen sind niederdimensionale Vektorrepräsentationen von Texten, die semantische Bedeutungen erfassen und Aufgaben wie die Informationsabfrage, Klassifizierung und Ähnlichkeitsanpassung unterstützen. Traditionelle Modelle wie SBERT und Sentence T5 zielen darauf ab, vielseitige Textcodierung bereitzustellen, während neuere Methoden wie Contriever und E5 die Einbettungen durch mehrstufige Trainingstrategien verbessern. Kontrastives Repräsentationslernen, das Techniken wie Dreifachverlust und InfoNCE umfasst, konzentriert sich darauf, effektive Repräsentationen zu lernen, indem ähnliche und unähnliche Datenpunkte gegenübergestellt werden. Leichtgewichtige Sprachmodelle wie Phi, Gemma und MiniCPM gehen auf den Ressourcenaufwand großer Modelle ein, indem sie effizientere Alternativen bieten. Feintuning-Methoden wie Adaptermodule und LoRA ermöglichen die aufgabenspezifische Anpassung von vorab trainierten Modellen bei reduzierten Rechenkosten.