Sprache Modelle (LMs) haben in der computationalen Textanalyse erhebliche Bedeutung erlangt, da sie eine gesteigerte Genauigkeit und Vielseitigkeit bieten. Dennoch besteht eine kritische Herausforderung: die Sicherstellung der Gültigkeit von Messungen, die aus diesen Modellen abgeleitet werden. Forscher laufen Gefahr, Ergebnisse falsch zu interpretieren, indem sie möglicherweise unbeabsichtigte Faktoren wie Amtsinhaberschaft anstelle von Ideologie oder Parteinamen anstelle von Populismus messen. Diese Diskrepanz zwischen beabsichtigten und tatsächlichen Messungen kann zu erheblich fehlerhaften Schlussfolgerungen führen, die die Glaubwürdigkeit der Forschungsergebnisse untergraben.
Die grundlegende Frage der Gültigkeit von Messungen steht im Mittelpunkt der Computational Social Science. Trotz der zunehmenden Komplexität von Sprachmodellen bleiben Bedenken hinsichtlich der Diskrepanz zwischen den Ambitionen dieser Tools und der Gültigkeit ihrer Ergebnisse bestehen. Dieses Thema ist ein langjähriger Schwerpunkt der Computational Social Scientists, die kontinuierlich vor den Herausforderungen hinsichtlich der Gültigkeit von Textanalysen warnen. Die Notwendigkeit, diese Diskrepanz anzugehen, ist angesichts der weiteren Entwicklung von Sprachmodellen und ihrer Anwendungen in verschiedenen Forschungsbereichen zunehmend dringlich geworden.
Diese Studie von Forschern aus der Kommunikationswissenschaft der Vrije Universiteit Amsterdam und dem Department of Politics, IR and Philosophy der Royal Holloway University of London behandelt das kritische Problem der Gültigkeit von Messungen im überwachten Maschinenlernen für sozialwissenschaftliche Aufgaben und konzentriert sich insbesondere darauf, wie Voreingenommenheiten in den Daten für das Feintuning die Gültigkeit beeinflussen. Die Forscher wollen die Lücke in der sozialwissenschaftlichen Literatur durch die empirische Untersuchung von drei Schlüsselfragen schließen: dem Ausmaß des Einflusses von Voreingenommenheiten auf die Gültigkeit, der Robustheit verschiedener maschineller Lernansätze gegenüber diesen Voreingenommenheiten und dem Potenzial sinnvoller Anweisungen für Sprachmodelle zur Reduzierung von Voreingenommenheiten und zur Steigerung der Gültigkeit.
Die vorgeschlagene Studie untersucht die Robustheit verschiedener überwachter maschineller Lernansätze gegenüber Voreingenommenheiten in den Feintuning-Daten und konzentriert sich auf drei Hauptklassifikatortypen: logistische Regression, BERT-base (DeBERTa-v3-base) und BERT-NLI (anweisungsbasiert). Das Studiendesign beinhaltet das Training dieser Modelle auf vier Datensätzen über neun Gruppen hinweg, wobei die Leistung unter voreingenommenen und zufälligen Trainingsbedingungen verglichen wird.
Eine der Methoden dieses Ansatzes beinhaltet das Training von Modellen auf Texten, die nur aus einer Gruppe stammen (voreingenommene Bedingung) und zufällig auf alle Gruppen verteilt sind (zufällige Bedingung). Dies dient dazu, den “Voreingenommenheitsabzug” zu messen – den Leistungsunterschied zwischen voreingenommenen und zufälligen Bedingungen. Mit Hilfe von 500 Texten mit ausgeglichenen Klassen für das Training sollen Klassenungleichgewichte als intervenierende Variable ausgeschlossen werden. Mehrere Trainingsdurchläufe über sechs Zufallszahlen sollen den Einfluss der Zufälligkeit reduzieren.
Ein weiterer wichtiger Punkt ist der Einsatz von binomialer Mixed-Effects Regression zur Analyse der Klassifizierungsfehler, unter Berücksichtigung des Klassifikatortyps und ob die Testtexte aus derselben Gruppe stammen wie die Trainingsdaten. Zudem wird der Einfluss sinnvoller Anweisungen getestet, indem die Leistung von BERT-NLI mit sowohl sinnvollen als auch sinnlosen Anweisungen verglichen wird.