Dieser Beitrag wurde von Kevin Plexico und Shakun Vohra von Deltek gemeinsam verfasst. Die Frage-und-Antwort (Q&A)-Anwendung mit Dokumenten wird in verschiedenen Anwendungsfällen wie Chatbots im Kundensupport, juristischen Rechercheassistenten und Healthcare-Beratern häufig eingesetzt. Retrieval Augmented Generation (RAG) hat sich als führende Methode herausgestellt, um die Leistung großer Sprachmodelle (LLMs) zu nutzen, um mit Dokumenten in natürlicher Sprache zu interagieren. Eine benutzerdefinierte Lösung wurde vom AWS Generative AI Innovation Center (GenAIIC) für Deltek entwickelt, ein weltweit anerkannter Standard für projektbasierte Unternehmen in den Bereichen Regierungsvertragswesen und professionelle Dienstleistungen.
In dieser Zusammenarbeit hat das AWS GenAIIC-Team eine RAG-Lösung für Deltek entwickelt, um Q&A zu einzelnen und mehreren Regierungsveröffentlichungsdokumenten zu ermöglichen. Die Lösung verwendet AWS-Dienste wie Amazon Textract, Amazon OpenSearch Service und Amazon Bedrock. Deltek arbeitet kontinuierlich daran, diese Lösung zu verbessern, um sie besser an ihre spezifischen Anforderungen anzupassen, wie z.B. die Unterstützung von Dateiformaten über PDFs hinaus und die Implementierung kostengünstigerer Ansätze für ihre Daten-Einleitungs-Pipeline.
RAG ist ein Prozess, der die Ausgabe von LLMs optimiert, indem er ihnen erlaubt, auf autoritative Wissensdatenbanken außerhalb ihrer Schulungsdatenquellen zu verweisen, bevor sie eine Antwort generieren. Dieser Ansatz adressiert einige der Herausforderungen, die mit LLMs verbunden sind, wie das Präsentieren falscher, veralteter oder generischer Informationen oder das Erstellen ungenauer Antworten aufgrund von Terminologieverwirrung. RAG ermöglicht LLMs, relevantere, genauere und kontextbezogenere Antworten zu generieren, indem sie auf interne Wissensdatenbanken einer Organisation oder auf spezifische Domains verweisen, ohne das Modell neu trainieren zu müssen. Es gibt Organisationen eine größere Kontrolle über den generierten Textausgang und bietet den Benutzern Einblicke, wie das LLM die Antwort generiert, was es zu einem kosteneffektiven Ansatz macht, um die Fähigkeiten von LLMs in verschiedenen Kontexten zu verbessern.
Das Hauptproblem bei der Anwendung von RAG für Q&A auf einem einzelnen Dokument ist unkompliziert, aber wenn es auf mehrere verwandte Dokumente ausgedehnt wird, gibt es einige einzigartige Herausforderungen. Eine beispielhafte Anwendung zeigt Q&A auf zwei zeitlich zusammenhängenden Dokumenten: ein langes Entwurfsangebotsdokument und eine damit verbundene nachfolgende Regierungsreaktion auf eine Informationsanforderung, die zusätzliche und überarbeitete Informationen enthält. Die Lösung entwickelt einen RAG-Ansatz in zwei Schritten, wobei der erste Schritt die Datenübernahme und der zweite Schritt das Q&A umfasst.
Amazons Textract kann PDFs, PNGs, JPEGs und TIFFs in maschinenlesbaren Text umwandeln und komplexe Strukturen wie Tabellen für eine einfachere Analyse formatieren. In den folgenden Abschnitten wird anhand eines Beispiels gezeigt, wie Amazon Textract’s Fähigkeiten demonstriert werden.
OpenSearch ist eine Open-Source- und verteilte Such- und Analytik-Suite, die aus Elasticsearch abgeleitet wurde. Es verwendet ein Vektordatenbankstruktur, um große Datenmengen effizient zu speichern und abzufragen. Der OpenSearch Service hat derzeit Zehntausende aktive Kunden mit Hunderttausenden von Clustern im Management, die Hunderte von Billionen Anfragen pro Monat verarbeiten. Wir haben OpenSearch Service und die sich darin befindliche Vektordatenbank verwendet, um Dokumente in den Vektorraum zu indizieren, damit relevante Elemente zur Verbesserung der Relevanz lokalisiert werden können. Durch die Modellierung von Dokumenten als Vektoren konnten wir relevante Passagen finden, auch ohne explizite Schlüsselwortübereinstimmungen.
Texteinbettungsmodelle sind Machine-Learning-Modelle, die Wörter oder Phrasen aus einem Text in dichte Vektorrepräsentationen abbilden. Texteinbettungen werden häufig in Informationssuchsystemen wie RAG für die folgenden Zwecke verwendet: Dokumenteinbettung – Einbettungsmodelle werden verwendet, um den Dokumenteninhalt zu kodieren und sie in einen Einbettungsraum abzubilden. Es ist üblich, ein Dokument in kleinere Textabschnitte wie Absätze, Abschnitte oder feste Größen zu unterteilen.
In diesem Beitrag haben wir das Amazon Titan-Modell, Amazon Titan Embeddings G1 – Text v1.2, verwendet, das bis zu 8.000 Token aufnimmt und einen numerischen Vektor mit 1.536 Dimensionen ausgibt. Das Modell ist über Amazon Bedrock verfügbar.
Amazon Bedrock bietet FMs von Top-KI-Unternehmen wie AI21 Labs, Anthropic, Cohere, Meta, Stability AI und Amazon. Es bietet eine einzige Schnittstelle, um auf diese Modelle zuzugreifen und generative KI-Anwendungen zu erstellen, während Sicherheit und Datenschutz gewährleistet sind. Wir haben Anthropic Claude v2 auf Amazon Bedrock verwendet, um natürliche Sprachantworten auf Fragen zu erstellen.
In den folgenden Abschnitten werden die beiden Stufen der Lösung genauer betrachtet. Die Datenübernahme umfasst das Extrahieren von Text aus Entwurfsangebots- und RFI-Antwortdokumenten und das Durchführen einer Analyse, die das Dokument in kleinere Abschnitte aufteilt. Die Anfrage- und Antwortphase ermöglicht Benutzern, natürliche Sprachfragen zu stellen und Antworten in natürlicher Sprache zu erhalten. Hier erfolgt eine semantische Suche, um relevante Textabschnitte zum Benutzerfrage zu finden und eine Antwort zu generieren.
Die Lösung demonstriert, wie die Kombination von Amazon Textract, OpenSearch Service und Amazon Bedrock es ermöglicht, Q&A über mehrere Regierungsanforderungsdokumente durchzuführen. Dabei wurde eine spezifische Vorgehensweise beschrieben, um die Fragen auf lange, im Laufe der Zeit veröffentlichte Dokumente anwenden zu können. Zudem wurde ein detaillierter Lösungsweg aufgezeigt, um die Genauigkeit und Kapazitäten des Modells zur Beantwortung von Fragen zu verbessern.
Die Lösung enthält wichtige Merkmale wie eine strukturbewusste Aufteilung in Abschnitte, die Umwandlung von Tabellen in CSV-Format und das Hinzufügen von Metadaten zur Indizierung. Durch den Einsatz von CoT-Logik konnten genaue Antworten generiert werden. Die Lösung erzielte eine Gesamtgenauigkeitsrate von 96 %, basierend auf Bewertungen von Deltek-Experten. In Zukunft wird Deltek diese Lösung weiter verbessern, um ihre einzigartigen Anforderungen zu erfüllen.
Insgesamt bietet dieser Beitrag einen Einblick in die Anwendung generativer KI auf das Frage-Antwort-Verfahren über mehrere Regierungsanforderungsdokumente. Die Zusammenarbeit zwischen dem AWS Generative AI Innovation Center und Deltek führte zu einer effizienten Lösung, die die Durchsicht komplexer Vorschlagsdokumente und deren Entwicklungen vereinfacht. Deltek arbeitet aktiv daran, diese Lösung zu verfeinern und anzupassen, um sicherzustellen, dass sie ihren einzigartigen Anforderungen entspricht.
Um mehr über diesen technologischen Fortschritt zu erfahren, können Sie am Amazon Bedrock Workshop teilnehmen oder das GenAIIC-Team von AWS kontaktieren.