Große Sprachmodelle (LLMs) haben die Welt des Natural Language Processing (NLP) mit ihren bemerkenswerten Fähigkeiten zur Bewältigung komplexer Aufgaben revolutioniert. Diese Modelle wurden auf riesigen Datensätzen mit immensem Rechenaufwand trainiert und zeigen beeindruckende Fähigkeiten im Umgang mit langen Kontexten. Der Schlüssel zum Zugriff auf diese Fähigkeiten liegt jedoch in proprietären LLM-APIs, und es mangelt an offenen Rezepten zur Konstruktion vergleichbarer Langkontext-Modelle, die ähnliche Leistungen für nachgelagerte Anwendungen liefern können. Zusätzlich fallen vorhandene Open-Source-Langkontext-Modelle oft bei Bewertungen durch und stützen sich in erster Linie auf den Verlust beim Sprachmodellieren und synthetische Aufgaben, während die Notwendigkeit vernachlässigt wird, starke Leistungen bei standardmäßigen Kurzkontext-Aufgaben beizubehalten.
In einem neuen Paper “Effective Long-Context Scaling of Foundation Models” präsentiert ein Forschungsteam von Meta AI eine Reihe von Langkontext-LLMs, die durch das Training von LLAMA 2 erstellt wurden. Diese Modelle unterstützen effektive Kontextfenster von bis zu 32.768 Tokens und übertreffen alle vorhandenen Open-Source-Modelle in Bezug auf Leistung. Das vorgeschlagene Modell wird durch kontinuierliches Training aus LLAMA 2-Checkpoints erstellt und mit zusätzlichen 400 Milliarden Tokens ergänzt, die zu langen Trainingssequenzen zusammengestellt wurden. Beachtenswert ist, dass das Team die Kernarchitektur von LLAMA 2 erhält und nur eine entscheidende Modifikation an der Positionscodierung vornimmt, die für das Modell erforderlich ist, um mit längeren Kontexten umgehen zu können.
Für die Positionscodierung (PE) führen die Forscher eine minimale, aber entscheidende Modifikation an der RoPE-Positionscodierung ein, die den Rotationswinkel reduziert. Diese Modifikation mildert den abnehmenden Effekt von RoPE für entfernte Token und verbessert die Fähigkeit des Modells, effektiv auf längere Kontexte zuzugreifen. Darüber hinaus untersucht das Team verschiedene Strategien zur Verbesserung der Fähigkeiten im Langkontext. Überraschenderweise zeigen ihre Ergebnisse, dass die Qualität der verwendeten Daten eine wichtigere Rolle spielt als die reine Textlänge im Kontext des kontinuierlichen Trainings. Dies unterstreicht die Bedeutung der Datenkuratierung bei der Erreichung überlegener Leistung im Langkontext.
Im Bereich des Instruction Tuning wendet das Forschungsteam einen einfachen und kostengünstigen Ansatz an. Sie nutzen einen vorhandenen, großen und vielfältigen Short-Prompt-Datensatz und ergänzen ihn mit synthetischen selbstinstruierten langen Daten, die von LLAMA 2 CHAT generiert wurden. Diese Strategie ermöglicht es dem Modell, eine vielfältige Fähigkeiten aus dem umfangreichen RLHF-Datensatz zu erwerben und dieses Wissen über selbstinstruierte Daten auf Langkontext-Szenarien zu übertragen. Das Forschungsteam führt eine umfassende Evaluation durch, die Sprachmodellierung, synthetische Kontextprobing-Aufgaben und eine Vielzahl von Forschungsbenchmarks umfasst. In diesen Bewertungen übertreffen die vorgeschlagenen Modelle kontinuierlich LLAMA 2 bei den meisten Standardaufgaben und zeigen erhebliche Verbesserungen bei Langkontext-Aufgaben.
Zusammenfassend zeigt diese wegweisende Arbeit die Überlegenheit der Serie von Langkontext-LLMs, die von dem Meta AI-Forschungsteam entwickelt wurden. Ihr innovativer Ansatz und ihre robuste Leistung haben das Potenzial, den Zugang zu Langkontext-LLMs zu demokratisieren und damit weitere Fortschritte auf dem Gebiet des Natural Language Processing zu ermöglichen. Dieser Durchbruch verspricht, Forscher und Entwickler dabei zu unterstützen, komplexere und nuanciertere Sprachverständnis-Aufgaben zu bewältigen und stellt einen bedeutenden Schritt in der Welt von KI-gesteuerten Sprachmodellen dar. Das Paper “Effective Long-Context Scaling of Foundation Models” finden Sie auf ai.meta.com.