Wissensintensive Natural Language Processing (NLP) umfasst Aufgaben, die ein tiefes Verständnis und die Manipulation umfangreicher sachlicher Informationen erfordern. Diese Aufgaben fordern Modelle heraus, effektiv auf externe Wissensquellen zuzugreifen, diese abzurufen und zu nutzen, um genaue und relevante Ergebnisse zu erzielen. Obwohl NLP-Modelle erheblich weiterentwickelt wurden, muss ihre Fähigkeit, wissensintensive Aufgaben zu bewältigen, aufgrund ihrer starren Natur und ihrer Unfähigkeit, externes Wissen dynamisch zu integrieren, weiter verbessert werden.
Die Hauptherausforderung bei wissensintensiven NLP-Aufgaben besteht darin, dass große vortrainierte Sprachmodelle Hilfe beim präzisen Zugriff und der Manipulation von Wissen benötigen. Diese Modelle benötigen oft Hilfe, um ihre Entscheidungen zu begründen und ihr Wissensbasis zu aktualisieren. Diese Einschränkung führt dazu, dass Modelle Aufgaben, die einen dynamischen Zugriff auf Wissen erfordern, nicht effizient bewältigen können. Folglich besteht Bedarf an neuen Architekturen, die externe Informationen dynamisch und flexibel integrieren können.
Die Forschung beinhaltet Rahmenwerke wie REALM und ORQA, die vortrainierte neuronale Sprachmodelle mit differenzierbaren Retrieve-Systemen zur verbesserten Wissensabfrage integrieren. Methoden wie Memory Netzwerke, Stack-augmentierte Netzwerke und Memory-Schichten bereichern Systeme durch nicht-parametrisches Gedächtnis. Allgemeine Architekturen wie BERT, GPT-2 und BART erzielen starke Leistungen bei verschiedenen NLP-Aufgaben. Methoden wie Dense Passage Retrieval verbessern die Leistung bei offenen Fragen beantwortenden, Fakten überprüfenden und Fragen generierenden Aufgaben und zeigen die Vorteile der Integration von Retrieve-Mechanismen in NLP-Modellen.
Forscher von Facebook AI Research, University College London und der New York University haben Retrieval-Augmented Generation (RAG) Modelle eingeführt, um diese Einschränkungen zu adressieren. RAG Modelle kombinieren parametrisches Gedächtnis aus vortrainierten Seq2Seq-Modellen mit nicht-parametrischem Gedächtnis aus einem dichten Vektorindex von Wikipedia. Dieser hybride Ansatz verbessert die Leistung von generativen Aufgaben, indem er dynamisch auf externe Wissensquellen zugreift und diese integriert, wodurch die starre Natur traditioneller Modelle überwunden wird.
RAG-Modelle verwenden einen vortrainierten neuronalen Retriever, um relevante Abschnitte aus Wikipedia abzurufen, und einen Seq2Seq-Transformer (BART) zur Generierung von Antworten. Der Retriever liefert die Top-K-Dokumente basierend auf der Eingabeabfrage, und der Generator produziert Ausgaben durch Konditionierung dieser Dokumente. Es gibt zwei RAG-Varianten: RAG-Sequence, die dasselbe Dokument für alle Token verwendet, und RAG-Token, die verschiedene Dokumente für jedes Token zulässt. Diese Struktur ermöglicht es dem Modell, genauere und kontextuell relevante Antworten zu generieren, indem sowohl parametrisches als auch nicht-parametrisches Gedächtnis genutzt werden.
Die Leistung von RAG-Modellen ist bemerkenswert bei mehreren wissensintensiven Aufgaben. Bei offenen Fragen-Antworten-Aufgaben haben RAG-Modelle neue State-of-the-Art-Ergebnisse erzielt. Zum Beispiel erreichte RAG bei Natural Questions (NQ), TriviaQA und WebQuestions höhere Übereinstimmungswerte, die parametrische Seq2Seq-Modelle und Aufbauarchitekturen mit abrufen und extrahieren spezifischer Aufgaben übertreffen. Der Retriever von RAG, der mit der DPR-Abfrageinitialisierung auf Natural Questions und TriviaQA überwacht wurde, trug wesentlich zu diesen Ergebnissen bei. Darüber hinaus übertraf RAG-Sequence bei MS-MARCO NLG BART um 2,6 Bleu-Punkte und 2,6 Rouge-L-Punkte und generierte sprachlich mehr faktische, spezifische und vielfältige Ausgaben.
Die Forscher haben gezeigt, dass RAG-Modelle mehrere Vorteile bieten. Sie zeigten, dass die Kombination von parametrischem und nicht-parametrischem Gedächtnis bei Generierungsaufgaben die Leistung signifikant verbessert. RAG-Modelle generierten genauer und spezifischer als BART, wobei von menschlichen Evaluatoren die Ausgaben von RAG bevorzugt wurden. Bei der Faktenüberprüfung in FEVER erreichte RAG Ergebnisse, die innerhalb von 4,3 % der aktuellsten Modelle lagen, was die Wirksamkeit sowohl in generativen als auch in klassifizierenden Aufgaben zeigt.
Zusammenfassend lässt sich sagen, dass die Einführung von RAG-Modellen in der Bewältigung von wissensintensiven NLP-Aufgaben einen bedeutenden Fortschritt darstellt. Durch die effektive Kombination von parametrischem und nicht-parametrischem Gedächtnis bieten RAG-Modelle eine robuste Lösung für den dynamischen Wissenszugriff und die Generierung und setzen damit einen neuen Maßstab in diesem Bereich. Das Forschungsteam von Facebook AI Research, University College London und der New York University hat den Weg für zukünftige Entwicklungen im NLP geebnet und damit das Potenzial für weitere Verbesserungen durch die Integration von dynamischem Wissen hervorgehoben.