Während der Konferenz über empirische Methoden in der natürlichen Sprachverarbeitung (EMNLP 2023) in Singapur in dieser Woche präsentieren Forscher aus der AI Engineering Group von Bloomberg ihre Expertise in der natürlichen Sprachverarbeitung (NLP), indem sie vier Papers veröffentlichen, von denen eines in Findings of EMNLP 2023 erscheinen wird. Durch diese Papers heben die Autoren und ihre Mitwirkenden eine Vielzahl von NLP-Anwendungen, neuartige Ansätze und verbesserte Modelle in Schlüsselaufgaben sowie andere Fortschritte im Stand der Technik auf dem Gebiet der computerlinguistik hervor. Wir haben einige der Autoren gebeten, ihre Forschung zusammenzufassen und zu erklären, warum die Ergebnisse bemerkenswert sind.
Ella: Die entitätszentrierte Zusammenfassung ist eine Form der steuerbaren Zusammenfassung, die die Erstellung einer Zusammenfassung eines Textdokuments in Bezug auf eine bestimmte Entität erfordert. Unsere Forschung konzentriert sich auf die abstrakte Zusammenfassung, bei der eine neue Zusammenfassung von Grund auf generiert wird. Dies steht im Gegensatz zu unserer früheren Arbeit zur extraktiven Zusammenfassung, bei der die Zusammenfassung nur unter Verwendung des im Originaltext vorhandenen Textes erstellt wurde. Durch die Veröffentlichung des EntSUMv2-Datensatzes erforschen wir überwachtes Feintuning und Instruktionstuning großer Sprachmodelle, um entitätsspezifische abstrakte Zusammenfassungen zu generieren und diese gegen den EntSUMv2 zu bewerten.
Dhruv: Wie Sie sehen können, zeigen feinabgestimmte Modelle (der mittlere Abschnitt) deutlich bessere Leistungen als instruktionsgesteuerte Modelle (der letzte Abschnitt), aber es ist nicht klar, welche Unterschiede zwischen diesen Modellen bestehen. Produzieren sie kurz und relevante Zusammenfassungen über eine Entität, die unvollständig sind? Oder produzieren sie ausführliche und vollständige Zusammenfassungen über eine Entität, die zusätzliche, jedoch irrelevante Informationen enthalten? Um diese Fragen zu beantworten, schlagen wir eine neue Methode der qualitativen Bewertung durch Menschen vor, die jedes Modell über fünf entscheidende Facetten bewertet, die hochwertige entitätszentrierte Zusammenfassungen besitzen: Entitätsspezifität, Faktizität, Vollständigkeit, Flüssigkeit und Qualität. Diese qualitativen Messungen bieten eine feinere Interpretation der aktuellen State-of-the-Art-Systeme.
Dhruv: Wir haben die besten Modelle in jeder Kategorie anhand dieser Metriken bewertet, die einige Erkenntnisse liefern. Zum Beispiel geben GSum-Modelle relevantere und vollständigere Zusammenfassungen, die jedoch weniger fließend sind, während die T5-basierten Modelle flüssigere Zusammenfassungen liefern, die jedoch weniger vollständig und weniger faktisch genau sind. Unsere Forschung stellt einen neuen Datensatz bereit, der zur Bewertung von Modellen in der generativen entitätszentrierten Zusammenfassungsaufgabe verwendet werden kann, und bietet einen neuen Rahmen für die Erlangung menschlicher Bewertungen, die eine ganzheitlichere Sicht auf die Zusammenfassungen im Gegensatz zu branchenüblichen automatisierten Metriken erfassen.