Die allgemeine Arbeitsweise von Maschinellem Lernen mit Sprachmodellen (MLP) besteht aus den Schritten Datenerfassung, Vorverarbeitung, Textklassifikation, Informationsextraktion und Datenmining. Datenerfassung und Vorverarbeitung sind eng mit der Datenverarbeitung verbunden, während Textklassifikation und Informationsextraktion durch Methoden der natürlichen Sprachverarbeitung unterstützt werden. Nachdem die Text-Datensätze ausreichend überprüft und akkumuliert wurden, können Datamining-Aufgaben wie Empfehlungen auf der Grundlage textartig verwendeter Daten durchgeführt werden. Textklassifikation und Informationsextraktion sind die Hauptaufgaben dieser Studie und werden durch LLMs durchgeführt.
Textklassifikation ist eine grundlegende Aufgabe in der NLP und beinhaltet die Kategorisierung von Textdaten in vordefinierte Klassen oder Kategorien. Dies hilft bei der effizienten Organisation und Analyse von Textdaten und spielt eine wichtige Rolle bei der Informationssuche und -analyse. Traditionell wurden manuelle Merkmalsextraktion und maschinelles Lernen verwendet, aber tiefgreifende LLMs wie die GPT-Modelle haben das Feld revolutioniert. Durch Feinabstimmung dieser Modelle auf gelabelte Daten können automatisch Merkmale und Muster aus Texten extrahiert werden, ohne aufwändige manuelle Merkmalsextraktion zu erfordern.
Informationsextraktion ist eine NLP-Aufgabe, bei der strukturierte Informationen aus unstrukturierten Texten extrahiert werden. Diese Aufgabe spielt in verschiedenen Anwendungen eine wichtige Rolle und umfasst Techniken wie NER, Beziehungsextraktion und Frage-Antwort-Systeme. Die NER zielt darauf ab, benannte Entitäten innerhalb von Texten zu identifizieren und zu klassifizieren. Im Bereich der Materialwissenschaft wurden verschiedene NER-Modelle entwickelt, um strukturierte Zusammenfassungsdaten aus unstrukturierten Texten zu extrahieren.
MLM-Modelle wie GPT wurden verwendet, um Klassifizierungs- und Extraktionsaufgaben in der Materialwissenschaft auszuführen. Durch Feinabstimmung und promptgesteuertes Lernen konnten diese Modelle hohe Leistungen in der Textklassifikation, Informationsextraktion und Fragebeantwortung erzielen. Die Ergebnisse zeigen, dass GPT-Modelle auch bei begrenzten Datensätzen hohe Genauigkeit und Zuverlässigkeit bieten können und somit wertvolle Werkzeuge für Materialwissenschaftler ohne tiefgreifende Kenntnisse im Bereich des maschinellen Lernens darstellen.