Ein intuitiver Leitfaden zur Textvektorisierung: In meinem letzten Beitrag haben wir uns näher mit Foundation Models und Large Language Models (LLMs) beschäftigt. Wir haben versucht zu verstehen, was sie sind, wie sie verwendet werden und was sie besonders macht. Wir haben erkundet, wo sie gut funktionieren und wo sie möglicherweise nicht ausreichen. Wir haben über ihre Anwendungen in verschiedenen Bereichen wie dem Verstehen von Texten und der Generierung von Inhalten diskutiert. Diese LLMs haben das Feld des Natural Language Processing (NLP) revolutioniert. Im NLP-Pipeline ist die Merkmalsextraktion (auch bekannt als Merkmalsextraktion oder Textrepräsentation oder Textvektorisierung) ein sehr integraler und wichtiger Schritt. Bei der Arbeit an einem NLP-Problem müssen Texte als Zahlen (Merkmalvektoren) dargestellt werden, da Computer Texte nicht verstehen können, sondern nur Zahlen, und diese numerische Darstellung von Text muss in die maschinelle Lernalgorithmen für die Lösung verschiedener auf Text basierender Anwendungsfälle wie Sprachübersetzung, Sentimentanalyse, Zusammenfassung usw. eingespeist werden.
Für diejenigen von uns, die mit dem maschinellen Lern-Pipeline im Allgemeinen vertraut sind, ist die Merkmalsextraktion ein sehr entscheidender Schritt, um gute Ergebnisse aus dem Modell zu erzielen. Das gleiche Konzept gilt auch für NLP. Wenn wir eine numerische Repräsentation von Textdaten generieren, ist ein wichtiges Ziel, das wir erreichen wollen, dass die generierte numerische Repräsentation die Bedeutung des darunterliegenden Textes erfassen kann. Deshalb werden wir heute nicht nur die verschiedenen Techniken für diesen Zweck diskutieren, sondern auch bewerten, wie nahe sie unserem Ziel bei jedem Schritt kommen. Einige der prominenten Ansätze für die Merkmalsextraktion sind: One-Hot-Codierung, Bag of Words (BOW), n-Grams, TF-IDF, Word Embeddings. Wir werden damit beginnen, einige grundlegende Begriffe zu verstehen und wie sie miteinander in Beziehung stehen.
One-Hot-Codierung ist eine der grundlegenden Techniken, um Text in Zahlen umzuwandeln. Wir werden denselben Datensatz wie oben verwenden. Unser Datensatz enthält drei Dokumente – wir können sie D1, D2 und D3 nennen. Wir kennen den Wortschatz (V) [Katze, spielt, Hund, Junge, Ball], der 5 Elemente enthält. Bei der One-Hot-Codierung (OHE) wird jedes Wort jedes Dokuments basierend auf dem Wortschatz des Datensatzes dargestellt.
Bag of Words (BoW) ist eine sehr beliebte und ziemlich alte Technik. Der erste Schritt besteht darin, erneut den Wortschatz (V) aus dem Datensatz zu erstellen. Dann vergleichen wir die Anzahl der Vorkommen jedes Wortes im Dokument mit dem erstellten Wortschatz. Die BoW-Technik wandelt jedes Dokument in einen Vektor von der Größe des Wortschatzes V um. Hier erhalten wir drei 5-dimensionale Vektoren – [1,1,0,0,1], [0,1,1,0,1] und [0,1,0,1,1]. BoW wird bei Klassifikationstasks verwendet und hat sich als recht effektiv erwiesen.
n-Grams ist eine Verbesserung von Bag of Words, da es hilft, die semantische Bedeutung der Sätze zu erfassen, zumindest in gewissem Maße. Dieser Ansatz hilft, die semantische Bedeutung des Textes zu erfassen, zumindest in gewissem Maße. Es ist möglich, n-Grams (Bigrams, Trigrams usw.) zusammen mit Unigrams zu verwenden und in bestimmten Anwendungsfällen gute Ergebnisse zu erzielen. TF-IDF ist eine sehr nützliche Technik in maschinellem Lernen für Aufgaben wie Textklassifizierung, Informationsabruf usw. Word Embeddings sind eine fortschrittlichere Vektorisierungstechnik, die Wörter als Vektoren in einem multidimensionalen Raum darstellt, wobei der Abstand und die Richtung zwischen den Vektoren die Ähnlichkeit und Beziehungen zwischen den entsprechenden Wörtern widerspiegeln.