Ein intuitiver Leitfaden zur Textvektorisierung:
In dem vorherigen Beitrag haben wir uns eingehender mit Grundlagenmodellen und großen Sprachmodellen (LLMs) beschäftigt. Wir haben versucht zu verstehen, was sie sind, wie sie verwendet werden und was sie besonders macht. Wir haben untersucht, wo sie gut funktionieren und wo sie möglicherweise nicht ausreichen. Wir haben ihre Anwendungen in verschiedenen Bereichen wie Textverständnis und Content-Erstellung diskutiert. Diese LLMs haben das Feld der natürlichen Sprachverarbeitung (NLP) maßgeblich verändert. Ein integraler und wichtiger Schritt bei einem NLP-Pipeline ist das Feature Engineering (auch bekannt als Merkmalsextraktion, Textrepräsentation oder Textvektorisierung). Dieser Schritt beinhaltet Techniken, um Text als Zahlen (Featurevektoren) darzustellen.
Für diejenigen von uns, die mit dem maschinellen Lern-Pipeline im Allgemeinen vertraut sind, verstehen wir, dass das Feature Engineering ein sehr wichtiger Schritt ist, um gute Ergebnisse aus dem Modell zu erzielen. Das gleiche Konzept gilt auch in der NLP. Wenn wir eine numerische Darstellung von Textdaten generieren, lautet ein wichtiges Ziel, dass die generierte numerische Darstellung die Bedeutung des zugrunde liegenden Textes erfassen kann. Einige prominente Ansätze zur Merkmalsextraktion sind: – One Hot Encoding – Bag of Words (BOW) – n-Gramme – TF-IDF – Word Embeddings.
Wir werden damit beginnen, einige grundlegende Begriffe zu verstehen und wie sie miteinander in Beziehung stehen. Hierzu gehören Corpus, Vokabular, Dokument und Wort. One Hot Encoding ist eine der einfachsten Techniken, um Text in Zahlen umzuwandeln. Es handelt sich um eine Darstellung von Textdokumenten als Vektoren gleicher Länge. In der Praxis stößt diese Methode auf einige Herausforderungen, wie z.B. Sparse-Repräsentation, Out of Vocabulary-Probleme und die Tatsache, dass sie die semantische Beziehung zwischen Wörtern nicht erfasst.
Bag of Words (BoW) ist eine beliebte und altbewährte Technik, bei der jeder Text in einen Vektor umgerechnet wird, dessen Dimension der Größe des Vokabulars entspricht. Diese Technik wurde hauptsächlich für Klassifizierungsaufgaben verwendet und liefert in der Regel gute Ergebnisse, obwohl sie einige Einschränkungen hinsichtlich der Repräsentation von Bedeutung und der Behandlung von neuen Wörtern aufweist. N-Gramme ist eine Weiterentwicklung von Bag of Words, bei der die Kombination von Wörtern in Betracht gezogen wird, um die semantische Bedeutung von Sätzen besser zu erfassen. TF-IDF ist eine Technik, die auf der Berechnung von Termfrequenz und inverser Dokumentfrequenz basiert und hilft, die wichtigen Wörter in einem Dokument zu identifizieren. Word Embeddings sind fortgeschrittene Vektorisierungstechniken, die Wörter als Vektoren in einem mehrdimensionalen Raum darstellen, um ihre Ähnlichkeit und Beziehungen zueinander abzubilden.