Perplexity

Perplexity ist eine intrinsische Bewertungsmetrik für Wahrscheinlichkeits- und Sprachmodelle. Bei einem Sprachmodell wird sie üblicherweise aus der mittleren negativen Log-Wahrscheinlichkeit der tatsächlich beobachteten Tokens berechnet. Vereinfacht beschreibt sie, wie überrascht das Modell von einem festgelegten Testdatensatz ist: Unter identischen Bedingungen bedeutet ein niedrigerer Wert eine bessere Vorhersage dieses Datensatzes.

Perplexity misst weder menschliches Verständnis noch automatisch Faktentreue, Nützlichkeit oder Qualität generierter Antworten. Werte sind nur sinnvoll vergleichbar, wenn Datensatz, Vorverarbeitung, Tokenisierung und Berechnung zusammenpassen. Modelle mit unterschiedlichen Vokabularen können stark abweichende Werte liefern. Der Begriff bezeichnet außerdem die gleichnamige KI-Suchplattform; im Kontext dieser Definition ist jedoch die Metrik gemeint.

• Metrik für probabilistische Sprachmodelle
• Niedriger ist nur unter gleichen Bedingungen besser
• Abhängig von Testdaten und Tokenisierung
• Kein direktes Maß für Fakten oder Antwortqualität
• Nicht mit der gleichnamigen Plattform verwechseln