Im vergangenen Jahr stellten wir beim Google Health Check Up-Event Med-PaLM 2 vor, unser großes Sprachmodell (LLM), das für den Gesundheitsbereich feinabgestimmt wurde. Seit der Einführung dieser Forschung ist das Modell für eine Reihe von globalen Kunden- und Partnerorganisationen verfügbar, die Lösungen für verschiedene Anwendungen entwickeln, darunter die Vereinfachung von Übergaben von Pflegern und die Unterstützung bei der Dokumentation von Klinikern. Ende letzten Jahres führten wir MedLM ein, eine Familie von Grundlagenmodellen für den Gesundheitsbereich, die auf Med-PaLM 2 aufbauen, und machten sie über die Google Cloud Vertex AI-Plattform breiter zugänglich. Seitdem hat sich unsere Arbeit mit generativer KI für den Gesundheitsbereich weiterentwickelt – von neuen Schulungsmethoden für unsere Gesundheits-KI-Modelle bis hin zu unseren neuesten Forschungsergebnissen zur Anwendung von KI in der Gesundheitsbranche.
Medizin ist eine multimodale Disziplin; sie setzt sich aus verschiedenen Arten von in unterschiedlichen Formaten gespeicherten Informationen zusammen – wie Radiologiebilder, Laborergebnisse, Genomdaten, Umgebungskontext und mehr. Um ein umfassenderes Verständnis für die Gesundheit einer Person zu erlangen, müssen wir Technologien entwickeln, die all diese Informationen verstehen. Mit der Einführung von MedLM für Brust-Röntgenaufnahmen bringen wir neue Fähigkeiten in unsere Modelle ein, in der Hoffnung, die generative KI für Gesundheitsorganisationen und die Gesundheit der Menschen hilfreicher zu gestalten. MedLM für Brust-Röntgenaufnahmen hat das Potenzial, Radiologie-Workflows zu transformieren, indem es bei der Klassifizierung von Brust-Röntgenaufnahmen für verschiedene Anwendungsfälle hilft. Diese Modelle sind derzeit für vertrauenswürdige Tester in einer experimentellen Vorschau auf Google Cloud verfügbar.
Etwa 30% des weltweiten Datenvolumens werden von der Gesundheitsbranche generiert und wachsen jährlich um 36%. Dazu gehören große Mengen an Texten, Bildern, Audio- und Videodateien. Aus diesem Grund erforschen wir, wie eine Version des Gemini-Modells, das für den medizinischen Bereich feinabgestimmt wurde, neue Fähigkeiten für fortgeschrittene Schlussfolgerungen, das Verstehen eines hohen Kontextvolumens und die Verarbeitung mehrerer Modalitäten freisetzen kann. Unsere neuesten Forschungsergebnisse erzielten eine Spitzenleistung in Bezug auf den Benchmark für USMLE-Style-Fragen von 91,1% und auf einem Videodatensatz namens MedVidQA. Unsere fine-tuned Modelle zeigen vielversprechende Ergebnisse bei komplexen Aufgaben wie der Berichterstellung für 2D-Bilder wie Röntgenaufnahmen und auch 3D-Bilder wie Hirn-CT-Scans – ein bedeutsamer Fortschritt in unseren medizinischen KI-Fähigkeiten. Auch wenn diese Arbeit sich noch in der Forschungsphase befindet, gibt es Potenzial, dass die generative KI in der Radiologie unterstützende Fähigkeiten für Gesundheitsorganisationen bereitstellen kann.
Fitbit und Google Research arbeiten zusammen, um ein Personal Health Large Language Model zu entwickeln, das personalisierte Gesundheits- und Wellness-Funktionen in der Fitbit Mobile-App ermöglichen soll. Dieses Modell wird feinabgestimmt, um personalisierte Coaching-Funktionen, wie handlungsorientierte Nachrichten und Anleitungen, zu bieten, die an persönliche Gesundheits- und Fitnessziele angepasst werden können. Zum Beispiel könnte dieses Modell Variationen in Ihren Schlafmustern und Ihrer Schlafqualität analysieren und dann Empfehlungen geben, wie Sie die Intensität Ihres Workouts basierend auf diesen Erkenntnissen ändern könnten.