Künstliche Intelligenz dringt schnell in den Bereich der Gesundheitsversorgung ein, und einige Gesundheitsforscher sind der Meinung, dass Bundesbehörden bereits die Befugnis haben, KI am Krankenbett zu regulieren. Viele Gruppen haben die Einführung neuer Vorschriften für KI im Gesundheitswesen gefordert. Forscher der University of Pennsylvania und der Duke University School of Medicine argumentieren jedoch in einem kürzlich veröffentlichten Artikel im JAMA Health Forum, dass das Department of Health and Human Services (HHS) und die Centers for Medicare & Medicaid Services (CMS) die bestehenden Vorschriften in den Medicare- und Medicaid-Conditions of Participation (CoPs) nutzen sollten, um die Sicherheit von KI in Krankenhäusern zu überwachen.
Die CoPs von Medicare legen Gesundheits- und Sicherheitsstandards für Gesundheitsorganisationen fest und sollen die Gesundheit und Sicherheit der Patienten unabhängig von der medizinischen Intervention oder Technologie schützen. Lee A. Fleisher, Anästhesist an der University of Pennsylvania, und Nicoleta Economou-Zavlanos, Leiterin der Algorithmus-basierten klinischen Entscheidungsunterstützungsaufsicht am Duke AI Health, argumentieren, dass die CoPs es CMS bereits ermöglichen, KI am Krankenbett zu regulieren. Die Autoren argumentieren auch, dass negative Sicherheitsereignisse und harmlose Fehler dem Krankenhaus und dem Hersteller oder Entwickler des Modells gemeldet werden sollten.
Algorithmen können weniger genau für einige Patienten sein, wenn die Modelle nicht auf demografischen Subpopulationen wie Minderheiten von Rassen und ethnischen Gruppen trainiert wurden. Die Algorithmen laufen dann Gefahr, wichtige Informationen für die Anbieter nicht anzugeben. Oder wenn Kliniker nicht ordnungsgemäß auf Modelle wie klinische Entscheidungsunterstützung geschult sind und nicht verstehen, wie sie richtig verwendet werden sollen, können Patienten geschädigt werden, so die Autoren. Durch die CoPs haben die Autoren zufolge CMS die Befugnis, die Patientensicherheitspraktiken von Krankenhäusern zu untersuchen, einschließlich unerwarteter Todesfälle, Fehler und schwerer Verletzungen. CMS kann die Erstellung von Korrekturmaßnahmen anordnen, wenn festgestellt wird, dass die Patientensicherheit beeinträchtigt wurde. Dies gilt auch für die Gesundheits-KI.