Inception, eine Tochtergesellschaft der G42-Gruppe, die sich auf fortschrittliche KI-Modelle und -Anwendungen spezialisiert hat, hat ihr neuestes großes Sprachmodell (LLM), JAIS 70B, eingeführt. Dieses 70-Billionen-Parameter-Modell wurde entwickelt, um arabische natürliche Sprachverarbeitungslösungen zu verbessern und die Integration von Generative KI-Diensten in Branchen wie Kundenservice, Inhalteerstellung und Datenanalyse zu beschleunigen. JAIS 70B bietet beispiellose arabische-englische bilinguale Fähigkeiten und ist ein bedeutender Meilenstein für die Open-Source-Community.
JAIS 70B verfügt über eine verbesserte Kapazität zur Bewältigung komplexer Aufgaben und zur Verarbeitung komplexer Datensätze. Es wurde durch kontinuierliches Training an 370 Milliarden Tokens – davon 330 Milliarden Arabisch – entwickelt und repräsentiert das größte je für ein Open-Source-Grundmodell verwendete arabische Datenset. Inception hat auch eine umfassende Palette von JAIS-Grund- und feinabgestimmten Modellen vorgestellt, darunter 20 Modelle in acht Größen von 590 Millionen bis 70 Milliarden Parametern. Diese Modelle wurden für Chat-Anwendungen feinabgestimmt und auf bis zu 1,6 Billionen Tokens von Arabisch, Englisch und Code-Daten trainiert, um Rückmeldungen aus der arabischen NLP-Community zu berücksichtigen.
Dr. Andrew Jackson, CEO von Inception, betonte die Bedeutung der Veröffentlichung: “KI ist jetzt eine bewährte wertschöpfende Kraft und große Sprachmodelle stehen im Vordergrund des Anstiegs der KI-Adoption. JAIS wurde geschaffen, um das arabische Erbe, die Kultur und Sprache zu bewahren und den Zugang zur KI zu demokratisieren. Die Veröffentlichung von JAIS 70B und dieser neuen Modellfamilie unterstreicht unser Engagement, das höchste Qualitätsniveau an KI-Grundlagenmodell für arabischsprachige Nationen bereitzustellen.”
Inceptions frühere Veröffentlichungen umfassen JAIS-13B und JAIS-13B-Chat im August 2023, gefolgt von den Modellen JAIS-30B und JAIS-30B-Chat. Die neu eingeführten Modelle JAIS 70B und JAIS 70B-Chat haben eine überlegene Leistung bei der Benchmark-Daten in Englisch und Arabisch im Vergleich zu ihren Vorgängern gezeigt. Neha Sengupta, Leitende angewandte Wissenschaftlerin bei Inception, hob die Effizienzgewinne hervor, die mit JAIS 70B erzielt wurden. Die LLM behält und übertrifft in bestimmten Fällen die hochwertigen englischsprachigen Verarbeitungsfähigkeiten von Llama2, während sie bei arabischen Ausgaben deutlich überragt.