Spielen Linguistik noch eine Rolle im Zeitalter großer Sprachmodelle?

Spielen Linguistik noch eine Rolle im Zeitalter großer Sprachmodelle?

In einem Papier vom 9. Mai 2024 diskutierten Juri Opitz von der Universität Zürich, sowie Shira Wein und Nathan Schneider von der Georgetown University, die Bedeutung von linguistischer Expertise in der naturlichen Sprachverarbeitung (NLP) in einer Ära, die von großen Sprachmodellen (LLMs) dominiert wird. Die Autoren erklärten, dass Linguistik nicht mehr im Mittelpunkt steht, wenn es um den Aufbau von NLP-Systemen geht. Mit dem Aufkommen von LLMs, die fließenden Text generieren können, ohne dass spezialisierte Module für Grammatik oder semantische Kohärenz benötigt werden, wird die Notwendigkeit von linguistischer Expertise in der NLP in Frage gestellt.

Die Autoren identifizieren sechs Facetten, in denen Linguistik zur NLP beiträgt, die im Akronym RELIES zusammengefasst sind. Linguistische Expertise wird benötigt, um Ressourcen für NLP-Aufgaben durch Datenauswahl und -kuratierung, Datenannotation (Goldstandard-Annotationen) und Korpuserstellung zu entwickeln und die Qualität und Vielfalt der Datensätze sowie das Verhalten der Systeme sicherzustellen.

Des Weiteren ist linguistisches Wissen wichtig für die Erstellung von Bewertungen, die Qualität automatischer Metriken beurteilen, und die Identifizierung linguistischer Phänomene, die für Systeme eine Herausforderung darstellen. Menschliche Bewertungen spielen eine “entscheidende Rolle” bei der zuverlässigen Bewertung des Zustands der Branche, wobei metalinguistisches Wissen in Evaluationsstudien von großer Bedeutung ist, um eine effektive Fehleranalyse und Qualitätsbewertung sicherzustellen.

Linguistische Expertise ist nicht nur für die Datensammlung zur Erhaltung von Niedrig-Ressourcen-Sprachen, sondern auch für die effektive Entwicklung von Technologien für diese Sprachen unerlässlich. Darüber hinaus bietet Linguistik NLP eine geeignete Metasprache, die als gemeinsame Sprache dient, um Beobachtungen auszudrücken und Erklärungen zu formulieren. Studien der Sprache und verwandten Bereichen dienen als Anwendungsbereiche für die NLP.

Die Autoren betonen, dass ihre Liste nicht erschöpfend ist und darauf abzielt, einen allgemeinen Überblick zu geben. Sie zeigten, wie Linguistik zu spezifischen Projekten und dem breiteren Feld beitragen kann, indem sie mit anderen Formen von Expertise zusammenarbeitet. Die Hoffnung besteht darin, zukünftige Arbeiten zu fördern, die auf Zusammenarbeit und Verbindungen zwischen Linguistik und Informatikern abzielen, um den Fortschritt in der NLP in verschiedenen Bereichen voranzutreiben.