Diese Forschungsarbeit untersucht die Entwicklung von KI und die von Experten wahrgenommenen Überlegungen, die als wesentlich erachtet werden, um sicherzustellen, dass KI mit ethischen Praktiken im Gesundheitswesen übereinstimmt. Die Experten betonten die ethische Bedeutung der Einführung von KI mit einem klaren und zweckbestimmten Ziel. Sie äußerten, dass KI über seine Innovativität hinaus in praktischer Hinsicht sinnvoll für das Gesundheitswesen sein muss. Während der Interviews illustrierten die Experten die ethische Komplexität beim Navigieren der Spannung zwischen Profit und gesundheitlichen Vorteilen sowie die Bedeutung der Priorisierung der Interessen von Gesundheitsfachkräften und Patienten, die als die Beteiligten gelten, die am stärksten von der Implementierung von KI betroffen sind. Die Experten betonten die Bedeutung des Verständnisses des Kontextes, der intrinsischen Dynamik und der zugrunde liegenden theoretischen Grundlage des Gesundheitswesens bei der Entwicklung von KI. Die drei Themen rufen gemeinsam dazu auf, KI zu liefern, die den Interessen von Ärzten und Patienten dient und mit der komplexen und kontextspezifischen Gesundheitslandschaft übereinstimmt. Um dies zu erreichen, müssen diejenigen, die KI-Anwendungen entwickeln, ausreichend über die klinischen und patientenbezogenen Interessen informiert sein, und dieser Informationsaustausch mit den Entwicklern muss priorisiert werden.
Nach unserem Kenntnisstand gibt es nur begrenzte Nachweise über die praktischen Aspekte der Entwicklung ethischer KI für das Gesundheitswesen. Eine Expertenrunde diskutierte die idealen zukünftigen Agenden für KI und Ethik, darunter die Fragen: „(i) Wer entwirft was für wen und warum? (ii) Wie statten wir die Benutzer von KI-Systemen aus? (iii) Wie können wir über technologische Fragen hinaus gesellschaftliche Probleme beheben?“ Unsere Ergebnisse zeigen, wie integral diese Fragen innerhalb eines bestimmten Anwendungskontextes, nämlich dem Gesundheitswesen, sind und wie sie dazu beitragen können, ethische Fallstricke bei der Entwicklung von KI zu erkennen. Die Ergebnisse konzentrieren sich auf leicht verständliche ethische Fragen wie: Wird KI aus den richtigen Gründen entwickelt? Und profitieren die richtigen Interessenvertreter von der Lösung? Diese praktischen Fragen können helfen, die ethischen Implikationen von KI auf verständlichere und nachvollziehbarere Weise zu bewerten.
Ein Teilnehmer erwähnte das Konzept der „Reparatur von Innovationen“ von Madeleine Clare Elish und Elizabeth Anne Watkins, das die von unseren Experten beschriebenen Herausforderungen bei der Entwicklung von KI-Lösungen im Gesundheitswesen angemessen zusammenfasst. Elish und Watkins betonten die Notwendigkeit, effektive klinische KI-Lösungen als Teil komplexer soziotechnischer Systeme zu betrachten. Sie plädierten dafür, KI über ihre potenziellen (und oft theoretischen) Möglichkeiten hinaus zu sehen, und zentral zu untersuchen, ob KI vorhandene Probleme anspricht, wie und auf welche Weise sie in bestehende Prozesse integriert wird und wie sie diese stört. Unsere Ergebnisse zeigen, dass Experten den Bedarf sahen, die Art und Weise zu ändern, wie KI für das Gesundheitswesen derzeit entwickelt wird. Sie forderten implizit eine Reparatur der Leitlinien, Prozesse und Anreize, die dabei helfen sollen, KI mit ethischen Rahmenbedingungen in Einklang zu bringen.
Die WHO-Richtlinie für KI-Ethik besagt, dass die Implementierung ethischer Prinzipien und menschenrechtlicher Verpflichtungen in die Praxis Teil „jedes Stadiums des Designs, der Entwicklung und Implementierung einer Technologie“ sein muss. In Übereinstimmung mit ihrer Aussage kann ethische KI nicht allein darin bestehen, die ethischen Konzepte oder Prinzipien zu definieren, die ein Teil von KI sein müssen, sondern muss auch ihre Entwicklung steuern. Die aktuellen Versionen der KI-Ethik-Leitlinien hatten jedoch nur begrenzte Wirkung auf die Veränderung der Praktiken oder Entwicklung von KI, um sie ethischer zu gestalten. Es wird die Frage aufgeworfen, welcher Ansatz die Natur der KI als aktives Element komplexer soziotechnischer Systeme berücksichtigen könnte. Während unsere Ergebnisse keine Antwort auf diese Frage bieten können, legen die Erkenntnisse dieser Studie nahe, dass die Entwicklung und Implementierung ethischer KI ein komplexer, vielschichtiger und multi-stakeholderprozess ist, der nicht vom Kontext getrennt werden kann, in dem sie eingesetzt werden soll. Daher muss KI-Ethik für das Gesundheitswesen praktischer orientiert werden und möglicherweise moralische Überlegungen zu den Zielen, Akteuren und dem spezifischen Gesundheitskontext von KI einschließen.
Die Experten in unserer Studie waren besonders besorgt über den „Innovations-first-Ansatz“. Diese Bedenken sind jedoch nicht einzigartig für das Gesundheitswesen. Während Innovation positiv sein kann, wenn sie auf die spezifischen Bedürfnisse der Interessengruppen eingeht und kontextsensitiv ist, kann sie auch einfach ein neues, aber potenziell nutzloses Produkt sein. Obwohl der RRI-Rahmen großen Wert darauf legt, innovative Produkte zu schaffen, die ethisch akzeptabel und gesellschaftlich wünschenswert sind, gibt es derzeit keine Tools, die bestimmen können, ob eine Innovation die Bedingungen für RRI erfüllt. Die operative Umsetzung der KI-Ethik muss möglicherweise Geschäftsethik und prozedurale Ansätze zu Unternehmenspraktiken wie Qualitätsmanagement einbeziehen.
Innerhalb der Rahmenbedingungen, die die Entwicklung von KI steuern, bleibt die Frage offen: Wer ist dafür verantwortlich, KI im Gesundheitswesen ethisch auszurichten? Empirische Belege legen nahe, dass Entwicklerteams sich oft mehr um die Nützlichkeit und Machbarkeit des Produkts als um seine ethischen Aspekte sorgen. Forschungs- und Ethikrichtlinien müssen KI als anwendungs-, themen- und kontextspezifisch definieren und studieren. Die Empirie deutet darauf hin, dass Entwicklerteams sich oft mehr um die Nützlichkeit und Machbarkeit des Produkts sorgen als um seine ethischen Aspekte. Einige Wissenschaftler haben vorgeschlagen, Ethik in das Design von KI einzubeziehen, indem Ethiker in das Entwicklungsteam integriert werden. Management (einschließlich Produktmanager) könnte jedoch ein besserer Einstiegspunkt sein, um sicherzustellen, dass KI von Anfang an ethisch entwickelt wird. Diese Entwickler betonten, dass obwohl sie sich verantwortlich fühlen, ohne eine obere Führungsinstanz ihre Handlungsfähigkeit eingeschränkt ist. Dies deutet darauf hin, dass die Operationalisierung der KI-Ethik Geschäftsethik und prozedurale Ansätze zu Unternehmenspraktiken wie Qualitätsmanagement einbeziehen muss.
Die praktischen Herausforderungen bei der Entwicklung von KI erfordern ethische Reflexion, und qualitative Forschung kann dabei helfen, diese zu erkennen. Dennoch können die Ergebnisse dieser Studie, die auf einer explorativen Methode basieren, nicht außerhalb der Studienpopulation verallgemeinert werden. Weitere Forschung ist erforderlich, um zu untersuchen, ob ähnliche Erkenntnisse in anderen Bereichen gewonnen werden können. Es müssen quantitative Studien durchgeführt werden, um zu untersuchen, ob Teilnehmer aus unterschiedlichen Gesundheitsmodellen unterschiedliche Ansichten oder Bedenken hinsichtlich der KI-Entwicklung im Gesundheitswesen haben könnten. Unsere Studie betont, wie wichtige Kontextbewusstsein ist und dass eine systemische Sichtweise des Gesundheitswesens unerlässlich ist, um zu verstehen, wie eine ethische KI erreicht werden kann. KI allein kann die Interessen, die die Art und Weise bestimmen, auf die Gesundheitsversorgung erbracht wird, nicht ändern oder die Anreize umgestalten, die die bestehenden Arbeitsweisen unterstützen. Es könnte schwierig sein, diese Spannung zu bewältigen, ohne regulatorische Rahmenbedingungen für die Entwicklung von KI und Geschäftspraktiken zu schaffen.