LLMs wie GPT-4, Qwen2 und LLaMA haben die künstliche Intelligenz revolutioniert, insbesondere im Bereich der natürlichen Sprachverarbeitung. Diese auf Transformer basierenden Modelle, die auf umfangreichen Datensätzen trainiert wurden, haben bemerkenswerte Fähigkeiten in der Verarbeitung und Generierung menschlicher Sprache gezeigt und wirken sich auf die Bereiche Gesundheitswesen, Finanzen und Bildung aus. Allerdings benötigen LLMs spezifischere Domänenkenntnisse, Echtzeitinformationen und proprietäre Daten außerhalb ihres Trainingskorpus. Diese Einschränkung kann zu “Halluzinationen” führen, bei denen Modelle falsche oder erfundene Informationen generieren. Um dieses Problem zu mildern, haben Forscher Methoden zur Ergänzung von LLMs mit externem Wissen entwickelt, wobei das Retrieval-Augmented Generation (RAG) als vielversprechende Lösung hervorgeht.
Graph Retrieval-Augmented Generation (GraphRAG) hat sich als innovative Lösung zur Bewältigung der Einschränkungen traditioneller RAG-Methoden herauskristallisiert. Im Gegensatz zu seinen Vorgängern ruft GraphRAG Graphenelemente ab, die relationales Wissen aus einer vorab erstellten Graphdatenbank enthalten, wobei die Verbindungen zwischen Texten berücksichtigt werden. Dieser Ansatz ermöglicht eine genauere und umfassendere Wiedergewinnung relationaler Informationen. GraphRAG nutzt Graphdaten wie Wissensgraphen, die eine Abstraktion und Zusammenfassung von Textdaten bieten, wodurch die Eingabeteillänge reduziert und Bedenken hinsichtlich der Wortreichhaltigkeit gemildert werden.
Forscher von der Schule für Intelligenzwissenschaften und Technologie der Peking Universität, dem College für Informatik und Technologie der Zhejiang Universität, Ant Group China, der Gaoling School für Künstliche Intelligenz der Renmin-Universität China und der Rutgers-Universität in den USA bieten eine umfassende Übersicht über GraphRAG, eine hochmoderne Methodik zur Bewältigung von Einschränkungen bei traditionellen RAG-Systemen. Die Studie bietet eine formale Definition von GraphRAG und skizziert ihren universellen Arbeitsablauf, bestehend aus G-Indexierung, G-Retrieval und G-Generierung. Es analysiert Kerntechnologien, Modellauswahl, methodologisches Design und Verbesserungsstrategien für jeden einzelnen Bereich. Darüber hinaus untersucht das Papier verschiedene Schulungsmethoden, Aufgaben, Benchmarks, Anwendungsdomänen und Bewertungsmetriken. Es werden auch aktuelle Herausforderungen, zukünftige Forschungsrichtungen und eine Liste der vorhandenen Branchensysteme für GraphRAG zusammengetragen, wodurch die Kluft zwischen akademischer Forschung und realen Anwendungen überbrückt wird.
GraphRAG baut auf traditionellen RAG-Methoden auf, indem es relationales Wissen aus Graphdatenbanken integriert. Im Gegensatz zu textbasiertem RAG berücksichtigt GraphRAG die Beziehungen zwischen Texten und integriert strukturelle Informationen als zusätzliches Wissen. Es unterscheidet sich von anderen Ansätzen wie LLMs auf Graphen, die sich hauptsächlich auf die Integration von LLMs mit Graph Neural Networks zur Modellierung von Graphdaten konzentrieren. GraphRAG geht auch über Methoden für die Wissensbasis-Fragenbeantwortung hinaus und wendet sie auf verschiedene nachgelagerte Aufgaben an. Dieser Ansatz bietet eine umfassendere Lösung zur Nutzung strukturierter Daten in Sprachmodellen, die die Einschränkungen rein textbasierter Systeme qualifiziert und neue Möglichkeiten für verbesserte Leistungen in verschiedenen Anwendungen eröffnet.