Heute freuen wir uns, die allgemeine Verfügbarkeit von Stapelinferenz für Amazon Bedrock bekannt zu geben. Diese neue Funktion ermöglicht es Organisationen, große Datenmengen zu verarbeiten, wenn sie mit Basismodellen (FMs) interagieren, und deckt damit einen wichtigen Bedarf in verschiedenen Branchen, einschließlich Callcenter-Betrieb, ab. Die Zusammenfassung von Callcenter-Transkripten ist zu einer wesentlichen Aufgabe für Unternehmen geworden, die wertvolle Einblicke aus Kundeninteraktionen gewinnen möchten. Mit zunehmender Datenmenge bei Anrufen stoßen traditionelle Analysemethoden an ihre Grenzen, was einen Bedarf an einer skalierbaren Lösung schafft. Die Stapelinferenz bietet sich als überzeugender Ansatz an, um dieser Herausforderung zu begegnen. Durch die Verarbeitung umfangreicher Texttranskripte in Stapeln, häufig unter Verwendung paralleler Verarbeitungstechniken, bietet diese Methode Vorteile im Vergleich zu Echtzeit- oder bedarfsbasierten Verarbeitungsansätzen. Insbesondere eignet sie sich gut für große Callcenter-Operationen, bei denen sofortige Ergebnisse nicht immer erforderlich sind.
In den folgenden Abschnitten bieten wir einen detaillierten, schrittweisen Leitfaden zur Implementierung dieser neuen Funktionen, der alles von der Datenbearbeitung über die Jobeinreichung bis zur Ausgabeanalyse abdeckt. Wir untersuchen auch bewährte Methoden zur Optimierung Ihrer Stapelinferenz-Workflows auf Amazon Bedrock und helfen Ihnen dabei, den Wert Ihrer Daten in verschiedenen Anwendungsfällen und Branchen zu maximieren. Die Stapelinferenzfunktion in Amazon Bedrock bietet eine skalierbare Lösung zur Verarbeitung großer Datenmengen in verschiedenen Bereichen. Diese vollständig verwaltete Funktion ermöglicht es Organisationen, Stapeljobs über eine CreateModelInvocationJob-API oder auf der Amazon Bedrock-Konsole einzureichen und vereinfacht so Aufgaben zur Verarbeitung großer Datenmengen.
Bevor Sie einen Stapelinferenz-Job für die Zusammenfassung von Callcenter-Transkripten starten, ist es entscheidend, Ihre Daten ordnungsgemäß zu formatieren und hochzuladen. Die Eingabedaten sollten im JSONL-Format vorliegen, wobei jede Zeile ein einzelnes Transkript zur Zusammenfassung darstellt. Jede Zeile in Ihrer JSONL-Datei sollte folgender Struktur folgen: {“recordId”: “11-stelliger alphanumerischer Zeichenfolge”, “modelInput”: {JSON-Körper}} Hier fungiert recordId als 11-stellige alphanumerische Zeichenfolge, die als eindeutiger Bezeichner für jeden Eintrag dient. Wenn Sie dieses Feld auslassen, fügt der Stapelinferenz-Job es automatisch in die Ausgabe ein. Das Format des modelInput-JSON-Objekts sollte dem body-Feld des Modells entsprechen, das Sie in der InvokeModel-Anfrage verwenden. Wenn Sie beispielsweise Anthropic Claude 3 auf Amazon Bedrock verwenden, sollten Sie das MessageAPI verwenden, und Ihr Modellinput könnte wie folgt aussehen: { “recordId”: “CALL0000001”, “modelInput”: { “anthropic_version”: “bedrock-2023-05-31”, “max_tokens”: 1024, “messages”: [ { “role”: “user”, “content”: [{“type”:”text”, “text”:”Summarize the following call transcript: ….” ]} ], } Beim Vorbereiten Ihrer Daten sollten Sie die für die Stapelinferenz aufgeführten Quoten beachten. Stellen Sie sicher, dass Ihre Eingabedaten diese Größenbeschränkungen sowie die Formatanforderungen für eine optimale Verarbeitung einhalten. Wenn Ihr Datensatz diese Beschränkungen überschreitet, sollten Sie in Betracht ziehen, ihn in mehrere Stapelinferenz-Jobs aufzuteilen. Nachdem Sie Ihre Stapelinferenzdaten vorbereitet und in Amazon S3 gespeichert haben, gibt es zwei primäre Methoden, um einen Stapelinferenz-Job zu starten: Verwendung der Amazon Bedrock-Konsole oder der API. Auf der Amazon Bedrock-Konsole können Sie den Status Ihres Stapelinferenz-Jobs über den entsprechenden Jobnamen überprüfen. Wenn der Job abgeschlossen ist, können Sie weitere Jobinformationen wie Modellname, Jobdauer, Status und Speicherorte von Eingabe- und Ausgabedaten einsehen. Alternativ können Sie einen Stapelinferenz-Job programmgesteuert mithilfe des AWS SDK starten. Durch die Verwendung des SDKs können Sie Stapelinferenz-Jobs programmgesteuert initiieren und verwalten und nahtlos in Ihre vorhandenen Workflows und Automatisierungspipelines integrieren. Wenn Ihr Stapelinferenz-Job abgeschlossen ist, erstellt Amazon Bedrock einen dedizierten Ordner im angegebenen S3-Bucket und verwendet die Job-ID als Ordnername. Dieser Ordner enthält eine Zusammenfassung des Stapelinferenz-Jobs sowie die verarbeiteten Inferenzdaten im JSONL-Format. Sie können auf die verarbeitete Ausgabe entweder über die Amazon S3-Konsole oder programmgesteuert mit dem AWS SDK zugreifen. In der Ausgabelokalisierung, die für Ihren Stapelinferenz-Job festgelegt wurde, finden Sie eine manifest.json.out-Datei, die eine Zusammenfassung der verarbeiteten Datensätze enthält. Diese Datei enthält Informationen wie die Gesamtzahl der verarbeiteten Datensätze, die Anzahl der erfolgreich verarbeiteten Datensätze, die Anzahl der Datensätze mit Fehlern und die Gesamtzahl der Eingabe- und Ausgabetoken. Erforderlichenfalls können Sie diese Daten weiterverarbeiten, beispielsweise indem Sie sie in Ihre vorhandenen Workflows integrieren oder weitere Analysen durchführen. Stellen Sie sicher, dass Sie Ihre-bucket-name, your-output-prefix und your-output-file.jsonl.out mit Ihren tatsächlichen Werten ersetzen. Mit dem AWS SDK können Sie programmgesteuert auf die verarbeiteten Daten, die Beobachtbarkeitsinformationen, die Inferenzparameter und die Zusammenfassungsinformationen aus Ihren Stapelinferenz-Jobs zugreifen und damit arbeiten, was eine nahtlose Integration mit Ihren vorhandenen Workflows und Datenpipelines ermöglicht. Zusammenfassend bietet die Stapelinferenz für Amazon Bedrock eine Lösung zur Verarbeitung mehrerer Dateneingaben in einem einzelnen API-Aufruf, wie an unserem Beispiel der Zusammenfassung von Callcenter-Transkripten veranschaulicht. Dieser komplett verwaltete Dienst ist darauf ausgelegt, Datenmengen unterschiedlicher Größe zu bewältigen und bietet Vorteile für verschiedene Branchen und Anwendungsfälle. Wir empfehlen Ihnen, die Stapelinferenz in Ihren Projekten zu implementieren und erleben, wie sie Ihre Interaktionen mit FMs im großen Maßstab optimieren kann.