Retrieval Augmented Generation (RAG) ist ein State-of-the-Art-Ansatz zum Aufbau von Frage-Antwort-Systemen, der die Stärken von Abfrage- und Grundlagenmodellen (FMs) kombiniert. RAG-Modelle rufen zuerst relevante Informationen aus einem großen Textkorpus ab und verwenden dann ein FM, um eine Antwort auf der Grundlage der abgerufenen Informationen zu synthetisieren. Eine End-to-End-RAG-Lösung umfasst mehrere Komponenten, darunter eine Wissensbasis, ein Abfragesystem und ein Generierungssystem. Der Bau und die Implementierung dieser Komponenten können komplex und fehleranfällig sein, insbesondere im Umgang mit großen Daten und Modellen.
In diesem Beitrag wird gezeigt, wie man die automatisierte Bereitstellung einer End-to-End-RAG-Lösung mithilfe von Wissensbasen für Amazon Bedrock und AWS CloudFormation nahtlos durchführen kann, um Organisationen zu ermöglichen, schnell und mühelos ein leistungsstarkes RAG-System einzurichten. Die Lösung bietet eine automatisierte End-to-End-Bereitstellung eines RAG-Workflows unter Verwendung von Knowledge Bases für Amazon Bedrock. AWS CloudFormation wird genutzt, um die erforderlichen Ressourcen einzurichten, einschließlich: eine AWS Identity and Access Management (IAM)-Rolle, eine Amazon OpenSearch Serverless-Sammlung und Index, und eine Wissensbasis mit zugehöriger Datenquelle.
Der RAG-Workflow ermöglicht es Ihnen, Ihre Dokumentendaten, die in einem Amazon Simple Storage Service (Amazon S3)-Bucket gespeichert sind, mit den leistungsstarken natural language processing-Funktionen der FMs von Amazon Bedrock zu integrieren. Die Lösung vereinfacht den Einrichtungsprozess und ermöglicht es Ihnen, schnell zu deployen und Ihre Daten unter Verwendung des ausgewählten FM abzufragen. Voraussetzungen für die Implementierung der in diesem Beitrag bereitgestellten Lösung sind unter anderem ein aktives AWS-Konto sowie Kenntnisse über FMs, Amazon Bedrock und OpenSearch Serverless.
Um die Lösung einzurichten, können Sie das GitHub-Repository klonen, in das Lösungsverzeichnis wechseln und das sh-Skript, das den Bereitstellungseimer erstellt, die CloudFormation-Vorlagen vorbereitet und die bereiten CloudFormation-Vorlagen und erforderlichen Artefakte in den Bereitstellungseimer hochlädt, ausführen. Sobald die Ausführung abgeschlossen ist, können Sie die AWS CloudFormation-Konsole verwenden, um einen neuen Stack zu erstellen, die Hauptvorlage auszuwählen und die Bereitstellung zu starten.
Nach erfolgreichem Abschluss der Bereitstellung können Sie mit der Testing beginnen. Dazu gehören das Initiieren des Datenaufnahmejobs, die Auswahl des gewünschten FM für die Abfrage und Generierung sowie das Testen der Lösung. Durch die Verwendung von Amazon Bedrock können Sie mithilfe des RAG-Workflows jetzt mit Ihren Dokumenten interagieren. Um zukünftige Kosten zu vermeiden, sollten die verwendeten Ressourcen gelöscht werden. Zusammenfassend ermöglicht dieser automatisierte Bereitstellungsansatz Ihnen, sich auf die Nutzung des RAG-Workflows zur Extraktion wertvoller Erkenntnisse aus Ihren Daten zu konzentrieren. Probieren Sie es aus und erleben Sie aus erster Hand, wie es Ihren RAG-Workflow optimieren kann.