Dense Retrieval (DR) -Modelle sind eine fortschrittliche Methode im Information Retrieval (IR), die Deep-Learning-Techniken verwendet, um Passagen und Abfragen in einen Einbettungsraum abzubilden. Das Modell kann die semantischen Beziehungen zwischen ihnen bestimmen, indem es die Einbettungen der Abfrage und der Passagen in diesem Einbettungsraum vergleicht. DR-Modelle zielen darauf ab, einen Kompromiss zwischen zwei wichtigen Aspekten zu finden: der Effektivität oder der Genauigkeit und Anwendbarkeit der wiederhergestellten Informationen und der Effizienz oder der Geschwindigkeit, mit der das Modell Daten verarbeiten und relevante Informationen bereitstellen kann.
PLMs (pre-trained language models), insbesondere solche, die auf der Transformer-Architektur aufbauen, sind effektive Instrumente für die Kodierung von Abfragen und Passagen in Deep-Reinforcement-Learning-Modellen geworden. Auf der Transformer-Architektur basierende PLMs sind sehr gut darin, komplexe semantische Verbindungen und Abhängigkeiten über lange Textsequenzen aufgrund ihres Selbstbeachtungsmechanismus zu erfassen.
Die Team hat ihre Hauptbeiträge wie folgt zusammengefasst: Der Mamba Retriever wurde mit dem Ziel geschaffen, Effizienz und Effektivität bei Informationsabruf (IR) zu maximieren. Schnelle Verarbeitungszeiten und eine ausgezeichnete Abrufgenauigkeit sind in der Architektur dieses Modells ausbalanciert.
Es wurde untersucht, wie sich die Effektivität des Mamba Retriever mit verschiedenen Modellgrößen ändert. Die Tests an den BEIR- und MS MARCO-Passagierungsbewertungsdatensätzen zeigten, dass der Mamba-Retriever in Bezug auf die Effektivität besser oder besser als transformerbasierte Retriever abschneidet. Die Effizienz des Modells steigt mit der Modellgröße, was darauf hindeutet, dass größere Mamba-Modelle in der Lage sind, komplexere semantische Informationen zu erfassen.
Die Effektivität des Mamba Retriever wurde besonders bei langen Textabrufaufgaben untersucht. Durch die Verwendung des LoCoV0-Datensatzes zeigte das Team, dass der Mamba Retriever, mit Feinabstimmung, Textsequenzen verarbeiten kann, die länger sind als seine vorab geschulte Länge und eine Effektivität erreichen, die mit oder besser als die bisherigen Modelle für langen Textabruf ist.
Das Team untersuchte die Inferenzeffizienz des Mamba-Retrievers bei unterschiedlichen Passage-Längen. Den Ergebnissen zufolge zeichnet sich der Mamba-Retriever durch eine herausragende Inferenzgeschwindigkeit aus und hat einen Vorteil beim linearen Zeitskalieren, was ihn besonders für Information Retrieval-Anwendungen mit langen Texten geeignet macht.
Zusammenfassend ist das Mamba Retriever-Modell für die Informationsabruf effizient und erfolgreich, insbesondere in Bezug auf Szenarien für den langen Textabruf. Aufgrund seiner schnellen Inferenzgeschwindigkeit und hoher Effektivität ist es eine geeignete Option für verschiedene Inferenzaufgaben und sticht im Vergleich zu konventionellen Transformer-basierten Modellen hervor.