Natural Language Processing (NLP) ist ein Teilgebiet der Datenscience, das Computer dazu lehrt, menschliche Sprachen zu verstehen. Es beinhaltet die Analyse von Daten, um bedeutungsvolle Erkenntnisse zu gewinnen. Zu den Hauptanwendungen gehören Text Mining, Textklassifikation, Text- und Stimmungsanalyse sowie Sprachgenerierung und -erkennung. Heute werden sieben führende Python NLP-Bibliotheken erkundet, die es ermöglichen, maßgeschneiderte NLP-Lösungen aufzubauen – von der Datengewinnung bis zur Präsentation der Ergebnisse. Darüber hinaus werden verwandte Konzepte wie Tokenisierung, Stemming, semantisches Denken und mehr behandelt.
Natural Language Toolkit oder NLTK ist eine der beliebtesten Plattformen zur Entwicklung von Python-Programmen. Es bietet eine Reihe von Open-Source-Python-Modulen, Tutorials und Datensätzen zur Unterstützung von Forschung und Entwicklung im Bereich NLP. Über 50 Korpora und lexikalische Ressourcen erhalten Interfaces von NLTK, einschließlich einer Suite von Textverarbeitungsbibliotheken für Klassifikation, Tokenisierung, Stemming, Tagging, Parsing, semantisches Denken, Wrappern für NLP-Bibliotheken und WordNet.
SpaCy wurde für fortgeschrittene NLP in Python und Cython entwickelt. Die kommerzielle Open-Source-Software wurde unter der MIT-Lizenz veröffentlicht und unterstützt benutzerdefinierte Modelle in PyTorch und TensorFlow. SpaCy unterstützt mehr als 60 Sprachen und verfügt über trainierte Pipelines für verschiedene Sprachen und Aufgaben, darunter benannte Entity-Erkennung, Wortartenmarkierung, Abhängigkeitsparsen, Satzsegmentierung, Textklassifikation, Lemmatisierung und mehr.
PyNLPl ist eine Python-Bibliothek für NLP, die Module für gängige und weniger verbreitete NLP-Aufgaben enthält. Ihre Anwendung reicht von grundlegenden Funktionen wie dem Extrahieren von n-Grammen und Häufigkeitslisten bis zum Aufbau einfacher Sprachmodelle. PyNLPl arbeitet mit Python 2.7 und Python 3 und bietet umfassende Informationen zu gemeinsamen Funktionen, Datentypen, Experimenten, Formaten, Sprachmodellen, Suchalgorithmen und mehr.
Stanford CoreNLP, geschrieben in Java, bietet eine Programmierschnittstelle für Python. Es ermöglicht Benutzern, linguistische Annotationen für Text abzuleiten, einschließlich Token, Satzgrenzen, benannte Entitäten, numerische und Zeitwerte, Wortarten, Koreferenz, Stimmung und Zitatattributen. Es konsolidiert Stanfords NLP-Tools, darunter Sentimentanalyse, Wortartenbestimmer, Parser, benannte Entity-Erkennung und Koreferenzauflösungssystem.