UnitedHealthcare, der größte Krankenversicherungsanbieter in den USA, ist derzeit in eine Sammelklage verwickelt, die behauptet, dass durch den Einsatz eines künstlichen Intelligenz (KI)-Algorithmus namens nH Predict rechtswidrige Ablehnungen von Ansprüchen auf erweiterte Pflege für ältere Patienten erfolgten. Die Klage, die vor dem US-Bezirksgericht für den Bezirk Minnesota eingereicht wurde, wirft UnitedHealthcare vor, den nH Predict-Algorithmus zur Festlegung von Gesundheitsentscheidungen verwendet zu haben, was zur vorzeitigen und böswilligen Einstellung der Zahlung für medizinische Dienstleistungen führte. Die Kläger, die die Nachlässe verstorbener Personen vertreten, die durch von UnitedHealthcare bereitgestellte Medicare Advantage-Plänen abgedeckt waren, behaupten, dass sie aufgrund von Leistungsablehnungen des Versicherers medizinisch notwendige Pflegeleistungen aus eigener Tasche bezahlen mussten. Dieser Rechtsstreit betrifft möglicherweise Tausende von Personen und Milliarden von Schäden, so ein Anwalt der Kläger.
Die Klage behauptet, dass der nH Predict-Algorithmus, der von NaviHealth, einem von UnitedHealth im Jahr 2020 erworbenen Unternehmen, entwickelt wurde, systematisch Ansprüche älterer Patienten auf erweiterte Pflege, einschließlich Aufenthalten in Pflegeeinrichtungen und häuslicher Pflege, zurückgewiesen hat. Es wird behauptet, dass etwa 90 % dieser Ablehnungen, wenn sie vor Bundesverwaltungsrichtern angefochten werden, umgekehrt werden, was die angebliche Ungenauigkeit des Algorithmus unterstreicht. Die Kläger argumentieren auch, dass der Einsatz der Technologie durch UnitedHealth illegal sei und Verträge mit Patienten und Versicherungsgesetze in verschiedenen Bundesstaaten verletzt.
Die Zukunft der verantwortungsbewussten KI
Die jüngste präsidentielle Anordnung zu KI könnte möglicherweise in Zukunft Auswirkungen auf Fälle wie diesen haben. Die Anordnung betont die Notwendigkeit von Transparenz und Rechenschaftspflicht in KI-Systemen, insbesondere in Sektoren wie dem Gesundheitswesen, in denen die von KI-Algorithmen getroffenen Entscheidungen erhebliche lebensbedrohliche Auswirkungen haben können. Durch die Förderung der verantwortungsbewussten Nutzung von KI und die Sicherstellung, dass KI-Systeme so konzipiert und eingesetzt werden, dass Fairness gewahrt und Diskriminierung vermieden wird, zielt die Anordnung darauf ab, Situationen zu mildern, in denen KI-Algorithmen möglicherweise die notwendige Pflege für vulnerable Bevölkerungsgruppen wie ältere Menschen zu Unrecht ablehnen.
Die Anschuldigungen gegen UnitedHealthcare unterstreichen die Bedeutung einer ethischen und verantwortungsbewussten Umsetzung von KI, insbesondere in der Gesundheitsbranche. Da KI eine immer prominentere Rolle bei Entscheidungen spielt, ist es für Organisationen entscheidend, die ethischen Aspekte rund um die Nutzung von KI zu priorisieren. Dies umfasst die Gewährleistung, dass KI-Algorithmen genau, transparent und im besten Interesse der Patienten ausgerichtet sind, insbesondere wenn es um kritische Entscheidungen bezüglich der Gesundheitsversorgung und -behandlung geht.
“In der KI-Regulierung gibt es einen schmalen Grat zwischen effektiver Aufsicht und Missverständnissen über die Technologie,” sagt Ryan Elmore, AI-Innovationskollege bei West Monroe. “Auch gut gemeinte Governance kann durch mangelndes technisches Wissen und sich widersprechende finanzielle Interessen behindert werden.”
Die Rolle des Datenmanagements und der Governance bei KI-Entscheidungsfindung
Im Kontext dieser Klage ist das Augenmerk auf Datenmanagement- und Governance-Praktiken von größter Bedeutung. Daten-Governance definiert, wie eine Organisation ihre Datenvermögenswerte verwaltet und die Verfügbarkeit, Integrität, Sicherheit und Nutzbarkeit der strukturierten und unstrukturierten Datenvermögenswerte einer Organisation gewährleistet. Organisationen, die ihre Daten als tatsächliches Vermögen missverwalten, neigen dazu, diese Vermögenswerte zu missbrauchen.
Hier ist, warum es in diesem Kontext wichtig ist:
Patientensicherheit und Datenschutz: Daten-Governance im Gesundheitswesen ist entscheidend, um die Sicherheit und den Datenschutz der Patienten durch die Aufrechterhaltung der Genauigkeit und Sicherheit von Patientendaten zu gewährleisten. Im Falle von KI-gesteuerter Entscheidungsfindung im Gesundheitswesen sind genaue und sichere Patientendaten entscheidend, um sicherzustellen, dass KI-Algorithmen informierte und ethische Entscheidungen hinsichtlich der Patientenversorgung treffen.
Datenintegrität und Nutzbarkeit: Durch die Festlegung von Standards und Richtlinien für das Datenmanagement können Organisationen die Integrität und Sicherheit ihrer Daten gewährleisten und gleichzeitig die Einhaltung gesetzlicher Anforderungen sicherstellen. Dies ist besonders wichtig, wenn KI-Algorithmen verwendet werden, um wichtige Entscheidungen über die Patientenversorgung zu treffen, da die Genauigkeit und Integrität der von diesen Algorithmen genutzten Daten direkte Auswirkungen auf die Ergebnisse für die Patienten haben.
Transparenz und Rechenschaftspflicht: Die Daten-Governance bietet einen Rahmen für das Management von Daten über ihren gesamten Lebenszyklus hinweg, einschließlich wie Daten gesammelt, gespeichert, verarbeitet, analysiert und geteilt werden. Diese Transparenz und Rechenschaftspflicht sind besonders wichtig, wenn KI-Algorithmen in die Entscheidungsfindung im Gesundheitswesen involviert sind, da sie sicherstellen, dass die Entscheidungen, die von diesen Algorithmen getroffen werden, auf genauen und zuverlässigen Daten basieren.
Geteilte Verantwortung und Zusammenarbeit: Daten-Governance schafft eine geteilte Verantwortung der Mitarbeitenden, indem sie aktiv daran beteiligt sind, Richtlinien, bewährte Praktiken, Verfahren und Arbeitsprodukte zu schaffen, die die Qualität von Patientendaten verbessern. Im Kontext von KI-gesteuerter Entscheidungsfindung stellt diese geteilte Verantwortung sicher, dass die von KI-Algorithmen verwendeten Daten von hoher Qualität sind und das kollektive Fachwissen und die Zusammenarbeit von Gesundheitsfachleuten widerspiegeln.
Informierte Entscheidungsfindung: Governance stellt sicher, dass die richtigen Personen die Daten zur richtigen Zeit aus den richtigen Gründen nutzen können, um Entscheidungen zu unterstützen und sicherzustellen, dass die Organisation ihre gewünschten Ergebnisse erfolgreich realisiert und einen Geschäftswert aus ihren Datenmanagementaktivitäten erhält. Dies ist besonders relevant, wenn KI-Algorithmen im Gesundheitswesen eingesetzt werden, da eine informierte Entscheidungsfindung entscheidend ist, um das Wohlergehen der Patienten zu gewährleisten.
Ethik als unternehmensweite Priorität
Die Klage gegen UnitedHealthcare dient als eindringliche Erinnerung an die potenziellen Folgen des missbräuchlichen Einsatzes von KI (ob beabsichtigt oder unbeabsichtigt) im Gesundheitswesen. Die jüngste Anordnung zu KI unterstreicht die Notwendigkeit ethischer und verantwortungsbewusster KI-Praktiken, insbesondere in kritischen Bereichen wie dem Gesundheitswesen, um Situationen zu verhindern, in denen KI-Algorithmen möglicherweise die notwendige Pflege für gefährdete Bevölkerungsgruppen zu Unrecht ablehnen. Trotzdem ist es für Gesundheitsorganisationen unerlässlich, die ethische Implementierung von KI zu priorisieren, Vorurteile in den Algorithmen und Daten zu reduzieren und hohe Standards für Transparenz und Fairness in allen Arten von automatisierten Entscheidungsprozessen aufrechtzuerhalten. “Dies ist eine weitere aufkommende Sorge, die zu der wachsenden Liste aufkommender existenzieller geschäftlicher Herausforderungen für Daten- und Analyseleiter hinzugefügt werden muss”, sagt Keyur Desai, ein branchenerfahrener Daten-Executive im Gesundheitswesen. “Allerdings ist es bei starken Beziehungen und Zusammenarbeit zwischen Daten-, Technologie- und Geschäftsexperten sicherlich nicht unüberwindbar. Der menschliche Fortschritt hat noch nie für uns angehalten, um ethische Versäumnisse nachzuholen, und wir sollten nicht erwarten, dass er dies tut.”