llms.txt & llms-full.txt – Schutz und Steuerung deiner Inhalte gegenüber KI-Crawlern

Stand: September 2025

Künstliche Intelligenz verändert die Art, wie Inhalte im Web genutzt werden. Mit llms.txt und llms-full.txt gibt es jetzt zwei neue Standards, die speziell dafür entwickelt wurden, um Large Language Models (LLMs) wie ChatGPT, Perplexity oder Google Gemini zu steuern. Während llms.txt wie ein Türsteher entscheidet, wer auf deine Inhalte zugreifen darf, liefert llms-full.txt eine strukturierte Übersicht welche Inhalte für LLMs verfügbar sind.

Was sind llms.txt und llms-full.txt?

• llms.txt: Funktioniert ähnlich wie eine robots.txt, aber für KI-Crawler. Hier legst du fest, welche Bereiche deiner Website von KI-Systemen genutzt werden dürfen oder blockiert sind.
• llms-full.txt: Bietet LLMs eine strukturierte Inhaltsübersicht – vergleichbar mit einer Sitemap, ergänzt um Metadaten wie Titel, Lizenz und Aktualisierungsdatum. Ziel ist eine faire und saubere Nutzung deiner Inhalte.

Beide Dateien liegen immer im Root-Verzeichnis deiner Domain, also beispielsweise:
https://www.deine-domain.de/llms.txt und https://www.deine-domain.de/llms-full.txt.

llms.txt – dein Gatekeeper für KI-Crawler

Mit der llms.txt steuerst du, welche KI-Anbieter auf deine Inhalte zugreifen dürfen. Seriöse Crawler wie Perplexity respektieren diese Regeln bereits. Für dich als Website-Betreiber bedeutet das: mehr Kontrolle, weniger Wild-West beim Content-Scraping.

Minimaler Schutz – nur Blog und Glossar freigeben

# /llms.txt
User-agent: *
Allow: /blog/
Allow: /glossar/
Disallow: /intern/
Disallow: /uploads/

Gezielte Steuerung für verschiedene Anbieter

# Perplexity komplett blockieren
User-agent: Perplexity
Disallow: /

# OpenAI darf nur den Blog-Bereich lesen
User-agent: OpenAI
Allow: /blog/
Disallow: /

# Standardregel für alle anderen
User-agent: *
Allow: /blog/
Allow: /glossar/
Disallow: /

Alles komplett blockieren

User-agent: *
Disallow: /

Hinweis: Die llms.txt basiert auf Freiwilligkeit. Wer sich nicht an Standards hält, muss serverseitig mit technischen Sperren wie IP-Blockings oder Firewalls gestoppt werden.

llms-full.txt – strukturierte Daten für faire Attribution

Die llms-full.txt liefert LLMs eine vollständige, klar strukturierte Übersicht deiner freigegebenen Inhalte. Damit steigerst du die Wahrscheinlichkeit, dass KI-Systeme deine Inhalte korrekt zitieren und verlinken, anstatt nur zusammenzufassen.

Beispielstruktur

# /llms-full.txt
Version: 1.0
Domain: https://www.deine-domain.de
Generated: 2025-09-23T20:00:00Z

Entry:
URL: https://www.deine-domain.de/blog/wordpress-vs-webflow/
Title: WordPress vs. Webflow – Welches CMS ist besser?
Author: Denise Jung
Summary: Ein praxisnaher Vergleich der Systeme mit Fokus auf Performance, Pflege und Ownership.
Category: Blog / CMS
Last-Modified: 2025-09-10
License: Copyright © 2025 deine-domain.de, All rights reserved

Entry:
URL: https://www.deine-domain.de/glossar/ai-overview/
Title: AI-Overview (Google) – Chancen und Probleme
Summary: Erklärung der AI Overviews, Auswirkungen auf Publisher, Risiken und Workarounds.
Category: Glossar / KI
Last-Modified: 2025-06-02
License: CC BY-NC-ND 4.0

Erklärung der Felder

• URL: Vollständige Adresse des Inhalts.
• Title: Klarer Titel, idealerweise ohne Kürzungen.
• Summary: Optionaler Kurztext für LLMs.
• Last-Modified: Änderungsdatum des Inhalts.
• License: Rechtliche Angabe, z. B. „All rights reserved“ oder Creative Commons.

Kombination von llms.txt und llms-full.txt

Die beste Lösung ist die Kombination beider Dateien: Mit der llms.txt entscheidest du, wer Zugriff erhält, und mit der llms-full.txt stellst du diesen Akteuren optimierte Daten zur Verfügung.

Beispielkombination

# llms.txt
User-agent: Perplexity
Disallow: /

User-agent: OpenAI
Allow: /blog/
Disallow: /

User-agent: *
Allow: /blog/
Allow: /glossar/
Disallow: /

# llms-full.txt
Version: 1.0
Domain: https://www.deine-domain.de

Entry:
URL: https://www.deine-domain.de/blog/wordpress-vs-webflow/
Title: WordPress vs. Webflow – Welches CMS ist besser?
Author: Denise Jung
Last-Modified: 2025-09-10
License: Copyright © 2025 deine-domain.de

Serverhärtung gegen unerwünschte Bots

Wenn ein Crawler die llms.txt ignoriert, kannst du ihn serverseitig blockieren. Hier ein Beispiel für Apache und NGINX:

Apache (.htaccess)

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (?i)perplexity
RewriteRule ^ - [F]
</IfModule>

NGINX

if ($http_user_agent ~* "perplexity") {
  return 403;
}

Wichtig: User-Agents lassen sich fälschen. Daher ist diese Methode nur eine erste Schutzschicht.

Best Practices für den Einsatz

• Beide Dateien im Root-Verzeichnis ablegen (/llms.txt und /llms-full.txt).
• Metadaten in der llms-full.txt regelmäßig aktualisieren, z. B. Last-Modified.
• Wichtige Inhalte mit klarer Lizenz versehen.
• Server-Logs überwachen, um verdächtige Aktivitäten frühzeitig zu erkennen.

FAQ

Beeinflussen diese Dateien mein Google-Ranking?

Nein, aktuell (Stand September 2025) haben llms.txt und llms-full.txt keine direkte Auswirkung auf dein SEO-Ranking. Sie dienen ausschließlich der Steuerung und Optimierung für KI-Crawler.

Brauche ich beide Dateien?

Ja, optimalerweise nutzt du beide: llms.txt steuert den Zugriff, llms-full.txt sorgt für saubere Datenlieferung.

Reicht meine robots.txt nicht aus?

Nein. robots.txt wird von klassischen Suchmaschinen beachtet, nicht aber von LLMs. Die llms.txt ist explizit auf KI-Systeme zugeschnitten.

Fazit

Mit llms.txt und llms-full.txt hast du jetzt Werkzeuge, um die Kontrolle über deine Inhalte gegenüber KI-Systemen zurückzuholen. Während llms.txt entscheidet, wer zugreifen darf, liefert llms-full.txt saubere, maschinenlesbare Daten – und erhöht die Chance auf faire Attribution und korrekte Zitation deiner Inhalte.