Diese Studie folgte den Transparent Reporting of a multivariable prediction model for individual prognosis or diagnosis (TRIPOD) Richtlinien. Die Datenquelle für die Studie war Cerebral, ein nationaler Tele-Mental-Health-Anbieter, der täglich Tausende von Patientennachrichten über ein HIPAA-konformes Chat-System empfängt, das über eine Web- und Mobile-Anwendung verfügbar ist. Um das Modell zu entwickeln, wurden Nachrichten in der Datenbank von Cerebral berücksichtigt, die von Patienten über das Chat-System zwischen dem 01.04.2021 und dem 31.10.2022 gesendet wurden. Die Entwicklung und Validierung des Modells wurden mit drei Datensätzen durchgeführt.
Alle Patienten haben ihre schriftliche Einwilligung zur Nutzung von Telemedizin-Diensten bei Cerebral erteilt, was eine Voraussetzung für die Versorgung und den Zugang zum Chat-System ist. Krisennachrichten waren selten in der Gesamtzahl der Nachrichten, die zwischen dem 01.04.2021 und dem 01.04.2022 gesendet wurden. Für das Training und das retrospektive Testset wurden 1202 Nachrichten, von denen 382 (32%) wahre Krisen waren, ausgewählt. Das Modell wurde dann auf dem prospektiven Testset angewendet, das zwischen dem 01.10.2022 und dem 31.10.2022 lag. Die Ausgabe war ein binärer Indikator, ob eine Nachricht die Aufmerksamkeit eines Krisenspezialisten erforderte, z. B. bei suizidalen Gedanken oder häuslicher Gewalt.
Die Leistung des Krisenbegriffsfilters im prospektiven Testset wurde durch Sensitivität, Spezifität, positiver prädiktiver Wert (PPV) und negativer prädiktiver Wert bewertet. Die Modell-Diskriminierung wurde anhand von AUC, Sensitivität, Spezifität, PPV und NPV bewertet. Hyperparameter wurden unter Verwendung von 10-facher Kreuzvalidierung auf 60% des Trainingssatzes abgestimmt. Das Modell wurde durch eine L1-reguläre logistische Regression (Lasso) trainiert. Die Wahrscheinlichkeitsschwelle für die binäre Klassifizierung wurde selektiert, um die minimale Missklassifikationskosten zu erzielen.
Zusätzlich wurde eine Subgruppenanalyse durchgeführt, um die Modellleistung für Patienten im Alter von 18-21 Jahren zu untersuchen. CMD-1 wurde entwickelt, um die Reaktionszeiten auf Patienten in Krisen zu verbessern. Die Zeit von der Nachrichtenübermittlung bis zur Einschätzung durch Krisenspezialisten wurde gemessen. Das Modell wurde in einer Produktionsumgebung bereitgestellt, wo es Nachrichten in Echtzeit empfangen und Vorhersagen generieren konnte. Das Workflow und die Benutzeroberfläche wurden implementiert, um die Kommunikation zwischen dem Modell und den Krisenspezialisten zu erleichtern.