Mit zunehmender Anpassungsfähigkeit entwickeln sich Language and Logic Models (LLMs) von großen, allgemeinen Modellen zu spezifischeren Modellen, die für bestimmte Anwendungsfälle entwickelt werden. Ein Beispiel dafür ist FinBERT, aber es wird erwartet, dass die Spezialisierung weiter zunimmt und Modelle häufig für spezifische Aufgaben oder spezifische Edge-Geräte an bestimmten Unternehmen entwickelt werden.
Die Entwicklung geht von LLMs zu großen multimodalen Modellen (LMMs): Menschliches Lernen umfasst viele Arten von Informationen, einschließlich Text, Bildern und Audio. Durch das Training von KI-Modellen mit mehreren Arten von Daten kann die Leistung gesteigert werden. Multimodale Eingaben sind für KI immer noch ein fortgeschrittener Bereich, während die Generierung von multimodalen Ausgaben besonders herausfordernd ist und zusätzliche ingenieurtechnische Lösungen erfordert. LMMs wie ChatGPT und Google’s Flamingo sind vielversprechende Forschungsbereiche und Google hat kürzlich ein neues multimodales Modell namens Gemini veröffentlicht, das nahtlos zwischen Text, Bildern, Video, Audio und Code wechseln kann.
Fortschritte in der Technik: Die Leistung der Modelle wird voraussichtlich durch den Einsatz von kuratierten und kontextbezogenen Aufforderungen weiter verbessert. Retrieval-augmented generation (RAG), die es LLMs ermöglicht, externe Dokumente abzurufen, um als neue Bezugsquellen zu dienen, kann die Genauigkeit verbessern und Halluzinationen reduzieren. Dies ermöglicht es kommerziellen Anwendungen von LLMs, das Wissen des Modells auf nahezu Echtzeitbasis zu aktualisieren, um auf ein erneutes Training verzichten zu können.
Augmentation von LLMs durch vektorisierte Datenbanken: Vektorisierte Datenbanken sind eine aufkommende Klasse von Datenspeicherung, die Vektoreinbettungen integrieren und LLMs helfen, Daten und deren Beziehungen besser zu verstehen. Die Verwendung von vektorisierten Datenbanken verbessert die Fähigkeit von LLMs, Kontext zu liefern und als Langzeitgedächtnis zu fungieren, was zu schnelleren und genaueren semantischen Suchen führt. Dies könnte zu einer Vielzahl von neuen Anwendungen führen, darunter Produkt-Empfehlungssysteme, verbesserte personalisierte Suche, bessere Betrugsbekämpfung und umgekehrte Bildersuche.
Zunehmender Einsatz von LLMs bei kreativer Modell-Exploration: LLMs können Brainstorming erleichtern, indem sie Kreativität nachahmen. Die Kreativität von LLMs wird durch ihren “Temperatur” reguliert, der einer der Hyperparameter ist, der die Diversität der Ausgaben reguliert. Je höher die Temperatur, desto mehr erkundet ein LLM Optionen mit geringeren Wahrscheinlichkeiten (ähnlich der Kreativität), während eine niedrigere Temperatur vorhersehbarere (weniger kreative) Ergebnisse generiert. Menschen können je nach Kontext und Verwendung den Grad der Temperatur bestimmen, um die besten Ergebnisse zu erzielen.