In einer kürzlich veröffentlichten Arbeit des Journals Nature’s Scientific Reports verglichen Dr. Nanda und die Co-Autoren Jeevithashree Divya Venkatesh und Aparajita Jaiswal die Textklassifikationsleistung und Erklärbarkeit von nicht-expertigen Menschen mit einem vorab trainierten traditionellen maschinellen Lernmodell und einem Zero-Shot-Large-Language-Modell.
Ein domänenspezifischer, lauter textueller Datensatz von 204 Verletzungsnarrativen musste in 6 Ursache-für-Verletzungscodes klassifiziert werden. Die Narrative variierten hinsichtlich ihrer Komplexität und der Leichtigkeit der Kategorisierung basierend auf der charakteristischen Natur des Ursache-für-Verletzungscodes. Die Benutzerstudie umfasste 51 Teilnehmer, deren Eye-Tracking-Daten aufgezeichnet wurden, während sie die Textklassifikationsaufgabe durchführten.
Die Erklärbarkeit verschiedener Ansätze wurde basierend auf den Top-Wörtern verglichen, die sie zur Klassifikationsentscheidung verwendeten. Diese Wörter wurden mithilfe des Eye-Trackings für Menschen, des erklärbar künstlichen Intelligenzansatzes LIME für das ML-Modell und der Anforderungen für das LLM identifiziert.
Die Klassifikationsleistung des ML-Modells wurde insgesamt und insbesondere für Narrativen mit hoher Komplexität und schwieriger Kategorisierung im Vergleich zu Zero-Shot-LLM und nicht expertigen Menschen als relativ besser beobachtet. Die Top-3 voraussagenden Wörter, die vom ML und LLM für die Klassifikation verwendet wurden, stimmten in größerem Maße mit Menschen überein als später voraussagende Wörter.