Die Studie wurde durchgeführt, um eine Methode zu entwickeln und zu bewerten, die darauf abzielt, Pflegeaktivitäten bei Neugeborenen in Neugeborenenintensivstationen (NICU) zu erkennen und zu lokalisieren. Dafür wurde ein multimodaler Datensatz gesammelt, der Videomaterial und physiologische Daten von Neugeborenen umfasste. Die Daten wurden von einem NEO-Gerät mit Kameramodul gesammelt, das an jedem Bett installiert wurde und Videos sowie Herzfrequenz- und Sauerstoffsättigungsdaten von Überwachungsgeräten in der NICU aufzeichnete.
Insgesamt wurden 27 Neugeborene aus einer städtischen und einer ländlichen NICU in Indien in die Studie aufgenommen, die von einem Team von Neonatologen, medizinischen Fachärzten und Pflegepersonal betreut wurden. Die Datensammlung erfolgte unter Berücksichtigung der Datenschutzrichtlinien und genehmigt von den entsprechenden Institutionen. Die Videos wurden manuell ausgewählt und annotiert, wobei 650 Pflegeaktivitäten identifiziert wurden, von denen 479 mit physiologischen Daten synchronisiert wurden.
Für die Videoanalyse wurde ein Deep-Learning-Modell verwendet, das auf der Erkennung von Pflegeaktivitäten basiert und mit physiologischen Daten integriert wurde, um die Stressfaktoren für Neugeborene zu quantifizieren. Das Modell kombinierte Methoden für die Repräsentationslernen von Videos und die zeitliche Lokalisierung von Aktivitäten. Die Integration von physiologischen Signalen mit den Videoergebnissen ermöglichte es, die Auswirkungen von Pflegeaktivitäten auf Herzfrequenz und Sauerstoffsättigung zu bewerten.
Zur Bewertung des Modells wurde ein 5-Fold-Cross-Validierung verwendet, um die Leistung bei der Erkennung und Lokalisierung von Pflegeaktivitäten zu evaluieren. Verschiedene Evaluationsmetriken wurden für die zeitliche Lokalisierung von Aktivitäten und die Quantifizierung von Dauer, Häufigkeit und physiologischen Reaktionen berücksichtigt. Die Ergebnisse wurden anhand von Genauigkeit, Rückrufrate und F1-Score bewertet, um die Leistung des Modells zu charakterisieren.