Die Bewertung des Augmented CARDS-Modells vergleicht die Leistung des ursprünglichen CARDS-Modells mit dem Augmented CARDS-Modell bei der Identifizierung von konträren Ansprüchen im ursprünglichen CARDS-Testset (bestehend aus konträren Blogs und CTTs) sowie in unserem neuen Twitter-Datensatz in zwei Stufen: binäre Erkennung und Taxonomieerkennung. Das ursprüngliche CARDS-Modell schnitt in Datensätzen mit linguistischen Merkmalen seiner ursprünglichen Trainingsdaten, einschließlich CTT-Artikeln und konträren Blog-Beiträgen, sehr gut ab. Es übertraf das Augmented CARDS-Modell leicht beim binären Test, zeigte jedoch einen Leistungsabfall von 5% bei der Taxonomieerkennung im Vergleich zu den CARDS-Metriken. Das Augmented CARDS-Modell demonstrierte eine bessere Anpassungsfähigkeit, insbesondere bei zusätzlichen Daten von Twitter, wo Verschwörungstheorien zum Klimawandel für Konträre von größerer Bedeutung sind.
Die technischen Beiträge von Augmented CARDS umfassten die Nutzung zusätzlicher Daten des Twitter-Kontexts und die Bewältigung von Kategorieungleichgewichten durch eine hierarchische Architektur. Das Modell zeigte eine relative Leistungssteigerung von 16% für die binäre Erkennung und 14,3% für die Taxonomieerkennung auf unserem Expertenanotierten Klima-Tweets-Datensatz, wobei die F1-Scores 81,6 für die binäre Erkennung und 53,4 für die Taxonomieerkennung betrugen. Obwohl es noch Verbesserungspotenzial gibt, insbesondere bei der Taxonomieerkennung, würde dies eine größere Twitter-basierte Datensammlung für die weniger häufigen Kategorien in diesem Kontext erfordern.
Wir wandten das Augmented CARDS-Modell auf über 5 Millionen klimabezogene Tweets in einem Zeitraum von 6 Monaten im Jahr 2022 an, um Einblicke in die Verbreitung von klimakonträren Behauptungen auf Twitter zu gewinnen. Diese neuartige Untersuchung enthüllte die Auslöser, die mit einem Anstieg von konträren Behauptungen auf der Plattform verbunden waren, sowie die häufigsten Arten von konträren Claims. Wir identifizierten vier verschiedene Kategorien von Ereignissen, die mit einem Anstieg der Veröffentlichung von konträren Tweets einhergingen.
Schließlich ermöglichte die Analyse der konträren Tweets anhand der Typologie von Ref. 26, die durch das Augmented CARDS-Modell abgeleitet wurde, eine Identifizierung der vorherrschenden Kategorien basierend auf verschiedenen Arten von Triggern. Natürliche Ereignisse und politische Ereignisse verschoben die Verteilung zu Themen, die mit bestimmten Kategorien verbunden sind. Influencer-Beiträge führten zu einem Anstieg von Verschwörungstheorien und der Ansicht, dass der Klimawandel ein natürlicher Zyklus ist. Schließlich fiel auf, dass einige Konten eine ungewöhnlich hohe Anzahl von konträren Tweets in allen Hauptkategorien aufwiesen, wobei durchschnittlich zwischen 1 und 2 konträre Tweets pro Benutzer geteilt wurden. Einige dieser Ausreißerkonten waren offensichtlich automatisiert, während andere von Einzelpersonen verwaltet wurden und Meinungen äußerten. Insgesamt besteht ein Großteil des konträren Inhalts aus einzigartigen Beiträgen, wobei Verschwörungstheorien einen bedeutenden Teil ausmachten.