Die BRAG-Modelle sind eine Serie von Retrieval-Augmented-Generation (RAG)-Modellen, die von Maximalists AI Researcher entwickelt wurden. Es handelt sich um eine Familie kleiner Sprachmodelle (SLMs), die kostengünstige und leistungsstarke Alternativen in der KI-gesteuerten Sprachverarbeitung bieten. Die Trainingskosten für diese Modelle liegen jeweils unter 25 US-Dollar, was sie als effiziente und wirtschaftliche Lösungen in der künstlichen Intelligenz positioniert.
Die BRAG-Modelle wurden entwickelt, um effiziente und leistungsstarke Sprachmodelle anzubieten, die nicht die umfangreichen Rechenressourcen benötigen, die normalerweise mit Großmodellen wie denen von Nvidia und OpenAI verbunden sind. Die Modelle wurden erstellt, um die Leistungsfähigkeit führender Modelle wie Cohere’s Command R+, Qwen2, Llama3.1 und Llama3 Instruct bei minimalen Trainingskosten zu erreichen.
Die BRAG-Serie umfasst vier Modelle: BRAG-Qwen2-7b-v0.1, BRAG-Llama-3.1-8b-v0.1, BRAG-Llama-3-8b-v0.1 und BRAG-Qwen2-1.5b-v0.1. Diese Modelle wurden aufgrund ihrer Leistung in offenen Benchmarks und ihrer Fähigkeit, Effizienz und Leistungsfähigkeit auszubalancieren, ausgewählt. Die Trainingsprozesse der Modelle orientierten sich an Nvidias ChatQA-Ansatz.
Die BRAG-Modelle zeichnen sich insbesondere durch ihre Leistung im Verhältnis zu ihrer Größe aus. Die 1,5B-Modelle bieten eine ausgezeichnete Balance zwischen Leistung und Effizienz, während die 7B- und 8B-Modelle komplexere Aufgaben wie das Verstehen langer Kontexte, die Interpretation tabellarischer Daten und mathematisches Denken bewältigen können. Durch die strategische Auswahl der Modelle und Trainingsmethoden konnte Maximalists die Leistung optimieren und Kosten effektiv verwalten.
Im Training der BRAG-Modelle kamen LoRA (Low-Rank Adaptation) und QLoRA (quantized LoRA)-Techniken zum Einsatz, die eine schnellere Schulung mit reduziertem Rechenbedarf ermöglichen und die Speicherplatzanforderungen des Modells verringern. Die Modelle wurden anhand des ChatRAG-Bench bewertet, um ihre Konversations- und RAG-Fähigkeiten zu überprüfen, wobei Metriken wie der F1-Score und die genaue Trefferquote verwendet wurden.
In Zusammenfassung beabsichtigen die Maximalists, die BRAG-Modelle zu verbessern, indem sie die RAG-Leistung und die Handhabung von tabellarischen Daten optimieren und die Zitationsgenerierung einführen. Sie planen auch, die Techniken zur Anfrageumformulierung zu verfeinern, um die Genauigkeit und Relevanz der Suche zu verbessern. Die Entwicklung von BRAG wurde durch Gutschriften von Modal Labs unterstützt, die kostengünstige Experimente ermöglichten. Durch innovative Schulungstechniken und strategische Modellauswahl hat BRAG gezeigt, dass erstklassige Leistung mit minimalem Ressourceneinsatz erreicht werden kann, was den Weg für zugänglichere und effizientere KI-Lösungen ebnet.