In dem Bereich der natürlichen Sprachverarbeitung (NLP) stellen lange Eingaben erhebliche Herausforderungen dar, darunter eine langsamere Inferenzgeschwindigkeit, höhere Rechenkosten und eine beeinträchtigte Benutzererfahrung. Darüber hinaus beschränken die durch die Kontextlänge auferlegten Limitierungen die Leistung des Modells und den Anwendungsbereich erheblich, was die Notwendigkeit einer Reduzierung der Eingabelänge verdeutlicht.
In einem neuen Artikel mit dem Titel “500xCompressor: Generalisierte Eingabekomprimierung für große Sprachmodelle” schlägt ein Forschungsteam der Cambridge University den 500xCompressor vor, eine Methode, die darauf abzielt, umfangreiche natürliche Sprachkontexte auf weniger als ein spezielles Token zu komprimieren und dabei Kompressionsverhältnisse von 6x bis 480x zu erreichen.
Der 500xCompressor bewahrt nicht nur die Vorteile früherer Methoden, sondern fügt auch neue Funktionen hinzu. Ähnlich wie frühere Soft Prompt-Techniken ist der 500xCompressor generalisiert und nicht selektiv, fähig, ungesehene Texte zu verschiedenen Themen für Aufgaben wie Fragen beantworten (QA) zu komprimieren und damit seine Vielseitigkeit zu zeigen.
Im Gegensatz zu selektiven Komprimierungsmethoden ist der 500xCompressor darauf ausgelegt, den gesamten Originaltext wiederherzustellen, um sicherzustellen, dass alle Tokens des Originals in der komprimierten Version enthalten sind. Darüber hinaus können diese komprimierten Eingaben verwendet werden, um den Originaltext wiederherzustellen oder QA durchzuführen, ohne dass das große Sprachmodell (LLM) feinabgestimmt werden muss, wodurch die ursprünglichen Funktionen des LLM beibehalten und die Benutzerfreundlichkeit von komprimierten Tokens verbessert wird.
Das Forschungsteam leistet signifikante Beiträge in drei Schlüsselbereichen: hohe Kompressionsrate, strenge unbekannte Auswertungsset und quantitative Analyse des Informationsverlusts. Die experimentellen Ergebnisse zeigen, dass der 500xCompressor ein hohes Kompressionsverhältnis erreicht, während er die meisten Funktionalitäten nicht komprimierter Eingaben beibehält. Dies zeigt das bedeutende Potenzial zur Komprimierung aktueller Eingaben auf und ermutigt zu weiteren Forschungen in diesem Bereich.