Das Technology Innovation Institute (TII), die angewandte Forschungssäule des Advanced Technology Research Council (ATRC) von Abu Dhabi, hat ein neues großes Sprachmodell in seiner Falcon-Serie veröffentlicht, das Falcon Mamba 7B. Das neue Modell ist das weltweit leistungsstärkste Open-Source-State-Space Language Model (SSLM), wie unabhängig von Hugging Face verifiziert. Als erstes SSLM für Falcon weicht es von früheren Falcon-Modellen ab, die alle eine Transformer-basierte Architektur verwenden. Dieses neue Falcon Mamba 7B-Modell ist ein weiteres Beispiel für die wegweisende Forschung, die das Institut betreibt, und die Durchbruchswerkzeuge und -produkte, die es der Gemeinschaft in einem Open-Source-Format zur Verfügung stellt.
H.E. Faisal Al Bannai, Generalsekretär des ATRC und Berater des Präsidenten der VAE für strategische Forschung und fortgeschrittene Technologiefragen, sagte: “Der Falcon Mamba 7B markiert das vierte aufeinanderfolgende Spitzenmodell von TII im AI-Bereich und unterstreicht Abu Dhabi als globalen Hub für AI-Forschung und -entwicklung. Diese Leistung verdeutlicht das unerschütterliche Engagement der VAE für Innovation.” Für Transformer-Architekturmodelle übertrifft Falcon Mamba 7B Meta’s Llama 3.1 8B, Llama 3 8B und Mistral’s 7B auf den neu eingeführten Benchmarks von HuggingFace. Im Gegensatz dazu schlägt Falcon Mamba 7B für andere SSLMs alle anderen Open-Source-Modelle auf den alten Benchmarks und wird das erste Modell auf HuggingFace’s neuer strengerer Benchmark-Rangliste sein.
Dr. Najwa Aaraj, CEO von TII, sagte: “Das Technology Innovation Institute setzt mit seiner Falcon-Serie von KI-Modellen weiterhin Maßstäbe in der Technologie. Der Falcon Mamba 7B repräsentiert wahre Pionierarbeit und ebnet den Weg für zukünftige KI-Innovationen, die die menschlichen Fähigkeiten verbessern und das Leben bereichern werden.” State Space Modelle sind äußerst leistungsstark, um komplexe Situationen zu verstehen, die sich im Laufe der Zeit entwickeln, wie zum Beispiel ein ganzes Buch. Dies liegt daran, dass SSLMs keine zusätzliche Speicherung benötigen, um solch große Informationsmengen zu verarbeiten.
Transformer-basierte Modelle hingegen sind sehr effizient darin, sich an Informationen zu erinnern und früher in einer Sequenz verarbeitete Informationen zu nutzen. Das macht sie sehr gut bei Aufgaben wie der Inhaltsproduktion, erfordert jedoch aufgrund des Vergleichs jedes Wortes mit jedem anderen Wort erhebliche Rechenleistung. SSLMs können in verschiedenen Bereichen wie Schätzungen, Prognosen und Steuerungsaufgaben Anwendung finden. Ähnlich wie die Transformator-Architekturmodelle glänzen sie auch in natürlichsprachlichen Verarbeitungsaufgaben und können für maschinelle Übersetzung, Textzusammenfassung, Computer Vision und Audioverarbeitung eingesetzt werden.
Dr. Hakim Hacid, stellvertretender Chef-Forscher der AI Cross-Center Unit von TII, sagte: “Mit der Einführung des Falcon Mamba 7B bin ich stolz auf das kollaborative Ökosystem von TII, das seine Entwicklung gefördert hat. Diese Veröffentlichung stellt einen signifikanten Fortschritt dar, der frische Perspektiven inspiriert und die Suche nach intelligenten Systemen weiter vorantreibt. Bei TII erweitern wir die Grenzen sowohl von SSLM- als auch von Transformator-Modellen, um weitere Innovationen in der generativen KI zu entzünden.” Falcon LLMs wurden bereits über 45 Millionen Mal heruntergeladen, was den herausragenden Erfolg der Modelle belegt. Falcon Mamba 7B wird unter der TII Falcon License 2.0 veröffentlicht, der großzügigen auf Apache 2.0 basierenden Software-Lizenz, die eine akzeptable Nutzungspolitik enthält, die die verantwortungsbewusste Nutzung von KI fördert. Weitere Informationen zum neuen Modell finden Sie unter FalconLLM.TII.ae.