NLP
Natural Language Processing (NLP), auf Deutsch Verarbeitung natürlicher Sprache, ist ein Teilgebiet von Informatik und künstlicher Intelligenz. Es entwickelt Verfahren, mit denen Computer gesprochene oder geschriebene Sprache analysieren, umwandeln oder erzeugen. Typische Aufgaben sind Suche, Klassifikation, Informationsextraktion, Übersetzung, Zusammenfassung, Spracherkennung und Dialogsysteme.
NLP ist nicht gleichbedeutend mit generativer KI oder LLMs. Regelbasierte Verfahren, statistische Modelle, kleinere spezialisierte Modelle und große Sprachmodelle können je nach Aufgabe eingesetzt oder kombiniert werden. Mehrdeutigkeit, Kontext, Fachsprache, Dialekte und ungleich verteilte Trainingsdaten begrenzen die Zuverlässigkeit. Bewertung muss daher reale Zielgruppen, Sprachen, Fehlertypen und Folgen einbeziehen.
- Verarbeitet geschriebene und gesprochene Sprache
- Umfasst Analyse, Suche, Übersetzung und Generierung
- Nicht auf große Sprachmodelle beschränkt
- Kontext und Mehrdeutigkeit bleiben Herausforderungen
- Mit realen Sprachen und Zielgruppen testen