Das Technology Innovation Institute (TII), ein führendes globales wissenschaftliches Forschungszentrum und die angewandte Forschungssäule des Advanced Technology Research Council (ATRC) in Abu Dhabi, hat ein neues großes Sprachmodell in seiner Falcon-Serie, das Falcon Mamba 7B, veröffentlicht. Dieses neue Modell ist das weltweit am besten performende Open-Source State Space Language Model (SSLM) der Welt und wurde unabhängig von Hugging Face verifiziert.
Als das erste SSLM für Falcon weicht es von den bisherigen Falcon-Modellen ab, die alle eine Transformer-basierte Architektur nutzen. Dieses neue Falcon Mamba 7B-Modell ist ein weiteres Beispiel für die wegweisende Forschung, die das Institut betreibt, und die innovativen Werkzeuge und Produkte, die es der Gemeinschaft in einem Open-Source-Format zur Verfügung stellt.
H.E. Faisal Al Bannai, Generalsekretär des ATRC und Berater des Präsidenten der VAE für strategische Forschung und Fortgeschrittene Technologieangelegenheiten, sagte: „Der Falcon Mamba 7B markiert TII’s viertes aufeinanderfolgendes Spitzen-AI-Modell und festigt Abu Dhabi als globales Zentrum für KI-Forschung und -entwicklung. Diese Leistung unterstreicht das unerschütterliche Engagement der VAE für Innovation.“
Im Vergleich zu Modellen mit Transformer-Architektur übertrifft das Falcon Mamba 7B-Modell Meta’s Llama 3.1 8B, Llama 3 8B und Mistral’s 7B auf den neu eingeführten Benchmarks von HuggingFace. Der Falcon Mamba 7B schlägt alle anderen Open-Source-Modelle in den alten Benchmarks und wird das erste Modell auf HuggingFaces neuer herausfordernder Benchmark-Bestenliste sein.
Dr. Najwa Aaraj, CEO des TII, sagte: „Das Technology Innovation Institute setzt mit seiner Falcon-Serie von KI-Modellen weiterhin Maßstäbe in der Technologie. Der Falcon Mamba 7B repräsentiert wahre Pionierarbeit und ebnet den Weg für zukünftige KI-Innovationen, die die menschlichen Fähigkeiten verbessern sollen.“
State Space-Modelle sind extrem leistungsfähig bei der Analyse komplexer Situationen, die sich im Laufe der Zeit entwickeln, wie zum Beispiel ein ganzes Buch. Transformer-basierte Modelle sind dagegen sehr effizient darin, sich an Informationen zu erinnern und diese in einer Sequenz zu verwenden. SSLMs finden Anwendungen in verschiedenen Bereichen wie Schätzungen, Prognosen, Steuerungsaufgaben und übertreffen auch in natürlichsprachlichen Verarbeitungsaufgaben wie maschineller Übersetzung, Textzusammenfassung, Computer Vision und Audiobearbeitung.
Dr. Hakim Hacid, stellvertretender Chefforscher der KI-Cross-Center-Einheit des TII, sagte: „Mit der Einführung des Falcon Mamba 7B bin ich stolz auf das kooperative Ökosystem des TII, das zu seiner Entwicklung beigetragen hat. Diese Veröffentlichung stellt einen bedeutenden Schritt nach vorn dar, inspiriert zu frischen Perspektiven und befeuert die Suche nach intelligenten Systemen. Bei TII gehen wir über die Grenzen sowohl von SSLM- als auch Transformer-Modellen hinaus, um weitere Innovationen in der Generativen KI anzuregen.“
Die Falcon LLMs wurden über 45 Millionen Mal heruntergeladen, was den herausragenden Erfolg der Modelle belegt. Der Falcon Mamba 7B wird unter der TII Falcon License 2.0 veröffentlicht, der großzügigen, auf Apache 2.0 basierten Softwarelizenz, die eine akzeptable Verwendungspolitik enthält, die die verantwortungsbewusste Nutzung von KI fördert. Weitere Informationen zum neuen Modell finden Sie unter FalconLLM.TII.ae.