Die künstliche Intelligenzfirma Anthropic hat eine neue Funktion für ihre großen Sprachmodelle (LLMs) eingeführt, die darauf abzielt, die Kosten zu senken und die Leistung für Unternehmen, die ihre KI nutzen, zu verbessern. Die Funktion “Prompt Caching” des Unternehmens wird in der öffentlichen Beta-Version für das Anthropic-API für ihre Claude 3.5 Sonnet- und Claude 3 Haiku-Modelle verfügbar sein. Diese Funktion ermöglicht es Benutzern angeblich, spezifische kontextbezogene Informationen in Prompts zu speichern und effizient wiederzuverwenden, ohne wiederkehrende Kosten oder erhöhte Latenzzeiten.
Anthropics Schritt erfolgt vor dem Hintergrund des harten Wettbewerbs in der KI-Branche, insbesondere bei großen Sprachmodellen. Unternehmen wie OpenAI, Google und Microsoft haben kontinuierlich an ihren LLM-Angeboten gearbeitet, um ihre Produkte zu differenzieren und Marktanteile zu gewinnen. Anthropic adressiert mit der Funktion “Prompt Caching” einen anderen Aspekt der LLM-Nutzung und könnte sich dadurch einen Vorteil verschaffen, wenn Firmen konsistenten Kontext über mehrere Abfragen oder Sitzungen hinweg aufrechterhalten müssen.
Die neue Funktion soll die Kosten um bis zu 90% senken und die Reaktionszeiten für bestimmte Anwendungen um bis zu das Doppelte verbessern. Anthropic gibt an, dass die Funktion in Szenarien, in denen Benutzer eine große Menge an Kontextinformationen einmal senden und in nachfolgenden Anfragen darauf referenzieren müssen, besonders effektiv ist. Dies könnte verschiedenen geschäftlichen KI-Anwendungen zugutekommen, einschließlich Konversationsagenten, umfangreicher Dokumentenverarbeitung, Codierungsassistenten und agenter Werkzeugnutzung.
Die Einführung von Prompt Caching könnte breitere Auswirkungen auf die KI-Branche haben, insbesondere im Hinblick auf die Demokratisierung des Zugangs zu fortschrittlichen KI-Fähigkeiten für kleinere Unternehmen. Obwohl andere Unternehmen ebenfalls daran arbeiten, die Effizienz und Wirtschaftlichkeit ihrer Modelle zu verbessern, plant Anthropic, mit Kunden zusammenzuarbeiten, um Daten zur Leistung und Auswirkungen der Funktion zu sammeln. Es bleibt abzuwarten, wie sich Prompt Caching in der Praxis bewährt und wie es in die KI-Strategien von Unternehmen und Entwicklern passt.