Forscher haben natürlichsprachliche eingebettete Programme (NLEPs) entwickelt, die es KI-Modellen ermöglichen, komplexe Aufgaben zu lösen, indem sie Python-Programme generieren und ausführen. Diese Methode steigert die Genauigkeit bei Denkaufgaben und verbessert die Transparenz, indem Benutzern ermöglicht wird, den Code zu überprüfen und zu korrigieren. NLEPs verbessern auch den Datenschutz, indem Informationen lokal verarbeitet werden.
Große Sprachmodelle wie ChatGPT haben beeindruckende Leistungen bei Aufgaben wie dem Verfassen juristischer Schriftsätze, der Analyse der Stimmung von Kundenbewertungen oder der Übersetzung von Dokumenten in verschiedene Sprachen gezeigt. Diese Modelle verwenden in der Regel nur natürliche Sprache, was es ihnen schwer macht, Aufgaben zu lösen, die numerisches oder symbolisches Denken erfordern. NLEPs können kleinen Sprachmodellen ermöglichen, besser zu performen, ohne dass das Modell für eine bestimmte Aufgabe neu trainiert werden muss, was ein kostspieliger Prozess sein kann.
Die Forscher von MIT und anderen Institutionen haben eine neue Technik vorgeschlagen, die es großen Sprachmodellen ermöglicht, natürliche Sprach-, Mathe-, Datenanalyse- und symbolische Denkaufgaben zu lösen, indem Programme generiert werden. NLEPs ermöglichen es großen Sprachmodellen, eine höhere Genauigkeit bei einer Vielzahl von Denkaufgaben zu erreichen. Die Methode verbessert auch die Transparenz und den Datenschutz, da Benutzer den Programmcode überprüfen und korrigieren können.
NLEPs haben eine Genauigkeit von über 90 Prozent erreicht, als sie GPT-4 aufforderten, eine Reihe von symbolischen Denkaufgaben zu lösen, wie z.B. das Verfolgen von gemischten Objekten oder das Spielen eines Spiels mit 24, sowie Anweisungsfolge- und Textklassifikationsaufgaben. Die Forscher fanden heraus, dass NLEPs eine 30 Prozent höhere Genauigkeit als aufgabenbezogene Methoden aufwiesen und auch Verbesserungen gegenüber Open-Source-LLMs zeigten. In Zukunft planen die Forscher, Methoden zu untersuchen, die es kleineren Sprachmodellen ermöglichen könnten, effektivere NLEPs zu generieren.