Durch den Wechsel von einem generischen LLM, das zu umfangreich und sperrig für ihre Anforderungen war, zu einem auf ihr Tätigkeitsfeld (Kapitalmärkte) zugeschnittenen Modell reduzierte Boosted.ai die Kosten um 90 Prozent, steigerte die Effizienz erheblich und entsperrte die für die Skalierung ihrer generativen KI-Anwendung im Investment-Management erforderliche GPU-Kapazität. Im Jahr 2020 erweiterte Boosted.ai ihre KI-gestützte Finanzanalyseplattform – Boosted Insights – um einen KI-Portfolio-Assistenten für Vermögensverwalter auf Basis eines LLM, der Daten aus 150.000 Quellen verarbeitete. Die Ausgabe waren makroökonomische Erkenntnisse und Markttrendanalysen zu über 60.000 Aktien in jedem globalen Aktienmarkt (Nordamerika, EU und UK, APAC, Naher Osten, Lateinamerika und Indien). Die Verwendung eines LLM brachte jedoch erhebliche Nachteile mit sich – hohe jährliche Betriebskosten und GPU-Kapazitätsbeschränkungen, die ihre Skalierbarkeit einschränkten.
Boosted.ai begann, ein auf AWS ausgeführtes modellspezifisches Modell zu optimieren und: reduzierte die Kosten um 90 Prozent, ohne die Qualität zu beeinträchtigen, wechselte von täglichen zu nahezu Echtzeit-Updates und entsperrte so mehr Wert für ihre Anlageverwalterkunden, die auf Hunderttausende von Datenquellen zugegriffen haben Verbesserte Sicherheit und Personalisierung durch die Möglichkeit, ein Modell in der privaten Cloud eines Kunden auszuführen, anstatt Workloads über eine LLM-Cloud auszuführen. Im Jahr 2023 wurde generative KI Mainstream. Die Verbesserung der Effizienz, um mehr mit weniger zu tun, wird die Unternehmensagenda bis 2024 und darüber hinaus prägen. Es ist entscheidend, dass Teams eine Strategie haben, wie sie generative KI einbeziehen, um Produktivitätsgewinne zu erzielen. Auch wenn es eine klare Anwendungsfall gibt, ist nicht immer offensichtlich, wie generative KI sinnvoll implementiert werden kann, um den Geschäftserfolg zu steigern.
Hier erfahren Sie, wie Boosted.ai generative KI eingebunden hat, um Forschungsaufgaben für ihre Investment-Management-Kunden zu automatisieren, was sowohl für Boosted.ai als auch für ihre Kunden zu besseren Ergebnissen führte. Gegründet im Jahr 2017, bietet Boosted.ai eine KI- und Machine-Learning-Plattform – Boosted Insights – an, die Vermögensverwaltern hilft, Daten zu sortieren, um ihre Effizienz zu steigern, ihre Portfolio-Metriken zu verbessern und bessere datengesteuerte Entscheidungen zu treffen. Als die Gründer die Auswirkungen leistungsstarker LLMs sahen, beschlossen sie, ein geschlossenes LLM zu verwenden, um einen KI-gestützten Portfolio-Management-Assistenten zu erstellen. Über Nacht würde er Millionen von Dokumenten aus 150.000 Quellen verarbeiten, einschließlich nichttraditioneller Datenquellen wie SEC-Einreichungen wie 10Ks und 10Qs, Geschäftsgespräche, Fachpublikationen, internationale Nachrichten, lokale Nachrichten, sogar Mode. Boosted Insights fasste all diese Informationen in eine interaktive Benutzeroberfläche zusammen, durch die ihre Vermögensverwalterkunden selbst sortieren konnten.
Mit ihrem neuen generativen KI-Modell brachte Boosted.ai nun wichtige Investitionsinformationen an all ihre Kunden, über 180 der weltweit größten Vermögensverwalter. Für diese Teams ist Zeit Geld. Wenn etwas den Aktienkurs eines Unternehmens beeinflusst, kann die Geschwindigkeit, mit der jemand diese Informationen erhält und darauf reagiert, den Unterschied von Tausenden, sogar Millionen von Dollar ausmachen. Boosted.ai gab diesen Managern einen Vorteil. Beispielsweise wies es darauf hin, dass Apple einige seiner Produktionskapazitäten nach Indien verlagern wollte, bevor die Nachrichten in den Mainstream-Medien bekannt wurden, da Boosted Insights Artikel in indischen Medien las. Die Hinzufügung eines generativen KI-Elements zu Boosted Insights automatisierte einen Großteil der Forschung, um eine Investitionshypothese in einen tatsächlichen Handel umzuwandeln. Beispielsweise konnte ein Investor, der sich Sorgen über einen Handelskrieg mit China machte, Boosted Insights fragen: “Welche Arten von Aktien sollte ich kaufen oder verkaufen?” Vor generativer KI war die Beantwortung dieser Frage ein 40-stündiger Forschungsprozess, bei dem hunderte von Seiten von Analystenberichten, Nachrichtenartikeln und Ertragszusammenfassungen gesichtet wurden. Mit einem KI-gestützten Portfolio-Management-Assistenten war nun 80 Prozent dieser Arbeit automatisiert.
Boosted.ai’s Herausforderungen sind zunehmend gemeinsame für Organisationen, die LLMs und generative KI übernehmen. Da LLMs für den allgemeinen Zweck geschult sind, verbringen die Unternehmen, die diese Modelle schulen, viel Zeit, Test und Geld, um sie zum Laufen zu bringen. Je größer das Modell, desto mehr beschleunigtes Rechnen muss es bei jedem Antrag verwenden. Daher ist es für die meisten Organisationen, einschließlich Boosted.ai, einfach nicht rentabel, ein LLM für eine spezifische Aufgabe zu verwenden. Boosted.ai beschloss, einen gezielteren und kostengünstigeren Ansatz zu erkunden: ein kleineres Sprachmodell zu optimieren, um eine bestimmte Aufgabe auszuführen. In der Welt der KI/ML werden diese Modelle oft als “Open Source” bezeichnet, aber das bedeutet nicht, dass sie von zufälligen Personen, die eine Wiki teilen, zusammengestellt sind, wie man es sich aus den Anfängen des Open-Source-Codierens vorstellen mag. Stattdessen werden Open-Source-Sprachmodelle wie Meta’s Llama 2 auf Billionen von Datenpunkten trainiert und in sicheren Umgebungen wie Amazon Bedrock gepflegt. Der Unterschied besteht darin, dass ein Open-Source-Modell Benutzern vollständigen Zugriff auf seine Parameter bietet und die Möglichkeit bietet, sie für spezifische Aufgaben fein abzustimmen. Geschlossene LLMs bieten im Gegensatz dazu einen “Blackbox”-Ansatz, der Boosted.ai nicht die Art der Anpassung ermöglichte, die erforderlich war, um zu kreieren.
Die Fähigkeit, ihr Modell zu feinabstimmen, würde sich für Boosted.ai als Unterschied erweisen. Durch das AWS-Partner-Netzwerk von Invisible hatte Boosted.ai Zugang zu Invisible, dessen globales Netzwerk von KI-Schulungsspezialisten es Boosted.ai ermöglichte, sich auf ihre Kernentwicklung zu konzentrieren. Während Invisible eine qualitativ hochwertige Datenannotation schneller und kostengünstiger bereitstellte als die Einrichtung eines internen Teams für das Projekt, fanden und implementierten zusammen AWS, Invisible und Boosted.ai das kleinste mögliche Modell, das ihren Anwendungsfall bewältigen konnte, und verglichen es mit dem Branchenstandard Massive Multitask Language Understanding (MMLU) Datensatz zur Bewertung der Leistungsfähigkeit.
Mit einem kompakteren und effizienten Modell, das genauso gut bei der Finanzanalyse funktionierte, senkte Boosted.ai die Kosten um 90 Prozent. Der große Vorteil, den sie durch diese Effizienz erzielten, bestand darin, dass sie in der Lage waren, die Menge an Daten massiv zu erhöhen – von täglichen Updates zu nahezu Echtzeit. Noch wichtiger war, dass sie die GPUs bekamen, die sie zur Skalierung benötigten. Wo Boosted.ai einmal A100 und H100 benötigte, um ihre Modelle auszuführen, ermöglichte es dieser effizientere, domänenspezifische generative KI-Ansatz, eine Schicht auf kleinerer und leichter verfügbarer Hardware auszuführen. Durch die Feinabstimmung eines kleineren Modells mit der gleichen Effizienz hatte Boosted.ai die Rechenkapazität, um noch mehr Analysen durchzuführen. Jetzt konnten sie Daten nicht mehr nur über Nacht verarbeiten, sondern alle Minute und Kunden versprechen, dass nur 5-10 Minuten Verzögerung zwischen dem Auftreten eines Ereignisses und seinem Erfassen durch Boosted Insights liegen.
Das Modell gab Boosted.ai auch mehr Optionen, wo und wie es eingesetzt werden konnte. Mit einem LLM schickte Boosted.ai die Arbeitslast in eine geschlossene LLM-Cloud, erhielt die Ergebnisse zurück und speicherte sie dann. Jetzt können sie innerhalb eines anderen Kunden-Virtuellen Privaten Cloud (VPC) auf AWS für zusätzliche Sicherheit bereitstellen. Mit einer privaten Endpunktlösung bietet mehr Kunden Bereitschaft, ihre proprietären Daten zu teilen, um maßgeschneiderte Einblicke zu generieren. Zum Beispiel könnte ein Hedgefonds Zugang zu Interviews mit Hunderten von CFOs und Management-Analysten haben. Dieses Datenmaterial ist zu wertvoll und vertraulich, um es an einen öffentlichen API-Endpunkt zu senden. Mit dem domänenspezifischen Ansatz von Boosted.ai muss es das nicht. Die gesamte Arbeitslast läuft innerhalb der Cloud des Kunden, und sie erhalten maßgeschneiderte Einblicke.
Während das feinabgestimmte, kleinere Sprachmodell von Boosted.ai wächst, werden die angebotenen Einblicke schärfer und quantifizierter. Heute kann es beispielsweise sagen, welche Unternehmen von einem Ereignis wie dem Krieg in der Ukraine betroffen sind. In Zukunft wird es in der Lage sein, diesen Effekt zu quantifizieren und zu sagen, “genau 7 Prozent des Umsatzes dieses Unternehmens wird betroffen sein, und hier ist die Wahrscheinlichkeit, wie es betroffen sein wird”. Darüber hinaus wird für die Erlangung dieser Erkenntnisse weniger Benutzerinteraktion erforderlich sein. Es wird möglich sein, Ihr Know-how und Wissen an Ihre personalisierte KI hochzuladen, sie in einer umfangreichen Datenbank von Informationen zu durchsuchen und einzigartige Ideen zu entwickeln.
KI ist die am schnellsten angenommene Technologie in der menschlichen Geschichte, und für kleine Organisationen sind aktuelle innovative Anwendungsfälle wahrscheinlich in wenigen Jahren unverzichtbar. “Wir erleben derzeit eine einzigartige Zeit in der Geschichte, in der viele große Unternehmen das Potenzial dieser Technologie nicht kennen und sie in suboptimaler Weise übernehmen. Man sieht eine Vielzahl von Chatbots, die überall entstehen. Wenn Sie heute eine Start-up gründen, treffen Sie Kunden, erfahren Sie ihre Probleme und seien Sie sich dessen bewusst, wozu generative KI fähig ist. Wenn Sie dies tun, ist sehr wahrscheinlich, dass Sie einen einzigartigen Mehrwert finden.” “Sobald Sie sicher sind, dass Sie einen gewissen Produkt-Markt-Fit haben, würde ich überlegen, kleinere Modelle gegenüber LLMs in Bezug auf Geschwindigkeit, Genauigkeit und Datensensibilität zu verfeinern. Wenn Sie denken, dass eine dieser Kriterien entscheidend für Ihren Anwendungsfall ist, lohnt es sich wahrscheinlich, ein domänenspezifisches Modell zu verwenden. ” “Joshua Pantony, Boosted.ai-Mitbegründer und CEO” Zusätzlichen Dank an Invisible für ihre Beiträge zu diesem Projekt und Artikel. Invisible ist ein innovatives Unternehmen für Betriebsinnovationen, das künstliche Intelligenz und Automatisierung nahtlos mit einer qualifizierten menschlichen Arbeitskräfte kombiniert, um strategische Ausführungsengpässe zu lösen.