Große Sprachmodelle sind der Treibstoff hinter dem generativen KI-Boom von 2023. Obwohl sie schon eine Weile existieren, sind LLMs Blackbox KI-Systeme, die tiefes Lernen auf extrem großen Datensätzen nutzen, um neuen Text zu verstehen und zu generieren. Moderne LLMs begannen 2014, als die Aufmerksamkeitsmechanismen in einer Forschungsarbeit mit dem Titel “Neural Machine Translation by Jointly Learning to Align and Translate” eingeführt wurden. 2017 wurde dieser Mechanismus mit der Einführung des transformer-Modells in einem anderen Papier “Attention Is All You Need” weiter verbessert. Einige der bekanntesten Sprachmodelle von heute basieren auf dem transformer-Modell, darunter die generative Pretrained transformer-Serie von LLMs und bidirektionale Encoder-Repräsentationen aus Transformatoren (BERT).
ChatGPT, das auf einer Reihe von Sprachmodellen von OpenAI läuft, zog nur zwei Monate nach seiner Veröffentlichung im Jahr 2022 mehr als 100 Millionen Benutzer an. Seitdem wurden viele konkurrierende Modelle veröffentlicht. Einige gehören zu großen Unternehmen wie Google und Microsoft, andere sind Open Source. Die Entwicklung neuer Modelle in diesem Bereich kann schwer zu verfolgen sein. Hier sind einige der einflussreichsten Modelle, sowohl in der Vergangenheit als auch in der Gegenwart.
Zu den aktuellen Top-LLMs gehören BERT, Claude, Cohere, Ernie, Falcon 40B, Gemini, Gemma, GPT-3, GPT-3.5, GPT-4, GPT-4o, Lamda, Llama, Mistral, Orca, Palm, Phi-1, StableLM und Vicuna 33B. Diese Modelle haben jeweils spezifische Merkmale, Anwendungsgebiete und Leistungen, die sie zu wichtigen Akteuren im Bereich der großen Sprachmodelle machen.
Es ist interessant zu sehen, wie diese Sprachmodelle auf verschiedenen Prinzipien und Technologien aufbauen, die sich über Jahrzehnte entwickelt haben. Zum Beispiel basierend auf früheren Modellen wie Seq2Seq und dem weit entfernten Vorgänger ELIZA. Durch solche Entwicklungen und Innovationen wird deutlich, wie die umfangreiche Forschung und der Fortschritt im Bereich der Sprachmodelle kontinuierlich fortschreitet, um immer leistungsfähigere und intelligentere KI-Modelle zu entwickeln.