Samuel (Sandy) Aronson, ALM, MA, Executive Director für IT- und KI-Lösungen für personalisierte Medizin bei Mass General Brigham Personalized Medicine und Senior Director für IT- und KI-Lösungen beim Accelerator für klinische Transformation, ist der entsprechende Autor eines in NEJM AI veröffentlichten Papiers, das untersuchte, ob generative KI das Potenzial hat, die wissenschaftliche Literaturprüfung von Varianten in der klinischen genetischen Testung zu verbessern. Ihre Erkenntnisse könnten über diesen Anwendungsfall hinaus eine breite Auswirkung haben.
In der Studie wurde getestet, ob generative KI verwendet werden kann, um zu bestimmen, ob wissenschaftliche Artikel Informationen enthalten, die Genetikern helfen können zu bestimmen, ob genetische Varianten schädlich für Patienten sind. Während dieser Arbeit wurden Inkonsistenzen in der generativen KI festgestellt, die ein Risiko für Patienten darstellen könnten, wenn sie nicht angemessen behoben werden. Es werden Formen von Tests und Überwachung vorgeschlagen, um die Sicherheit zu verbessern.
Es wurde untersucht, ob generative KI verwendet werden kann, um zu bestimmen, ob ein wissenschaftlicher Artikel Evidenz über eine Variante enthält, die einem Genetiker bei der Bewertung einer genetischen Variante hilft, und ob die gefundenen Beweise zu einem gutartigen, pathogenen, intermediären oder unklaren Schluss führen.
Die Forscher verwendeten eine generative KI-Strategie basierend auf GPT-4 unter Verwendung eines markierten Datensatzes von 72 Artikeln und verglichen die generative KI mit Bewertungen von Expertengenetikern. Die generative KI schnitt relativ gut ab, aber es sind weitere Verbesserungen für die meisten Anwendungsfälle erforderlich.
Die Ergebnisse zeigten, dass es möglicherweise wichtig ist, einen Testdatensatz mehrmals auszuführen, um das Ausmaß der Variabilität (Nichtdeterminismus) zu demonstrieren, und dass es wichtig ist, Veränderungen in der Leistung (Drift) im Laufe der Zeit zu überwachen. Es wurde festgestellt, dass große Sprachmodelle signifikante Drift und Nichtdeterminismus aufweisen können, was für klinische Werkzeugentwickler wichtig ist, um die Sicherheit zu gewährleisten.