Zwei technische Fragen tauchen in fast jedem Gespräch über KI-Sichtbarkeit auf. Sollen wir KI-Crawler in der robots.txt blockieren oder zulassen? Und sollen wir eine llms.txt-Datei veröffentlichen?
Auf die erste Frage gibt es klare, dokumentierte Antworten. Die Antwort auf die zweite fällt bescheidener aus, als ein Großteil der Diskussion im Netz vermuten lässt. Dieser Artikel behandelt beide anhand der Dokumentation der Anbieter selbst.
Trainings-Crawler und Such-Crawler
Die wichtigste Unterscheidung überhaupt: Die meisten KI-Anbieter trennen inzwischen das Crawling für das Modelltraining vom Crawling oder Abrufen für Suche und Antworten. Wer das eine blockiert, blockiert nicht automatisch das andere.
Damit haben Sie eine echte Wahl. Sie können ablehnen, dass Ihre Inhalte für das Training genutzt werden, und trotzdem zulassen, dass Ihre Seiten in KI-Suchfunktionen gefunden und zitiert werden.
Die wichtigsten User Agents und was sie tun
Hier eine Übersicht auf Basis der Dokumentation des jeweiligen Anbieters. Prüfen Sie die verlinkten Seiten, bevor Sie etwas ändern, denn die Anbieter aktualisieren sie.
| User Agent | Anbieter | Dokumentierter Zweck |
|---|---|---|
| GPTBot | OpenAI | Crawling, um generative KI-Basismodelle nützlicher und sicherer zu machen; ein Ausschluss signalisiert, dass Inhalte nicht für das Training verwendet werden sollen |
| OAI-SearchBot | OpenAI | Websites in den Suchfunktionen von ChatGPT sichtbar machen |
| ChatGPT-User | OpenAI | Besuche, die durch Aktionen von Nutzern in ChatGPT oder in Custom GPTs ausgelöst werden; dient nicht der Entscheidung, was in der Suche erscheint |
| ClaudeBot | Anthropic | Sammeln von Inhalten, die in das Modelltraining einfließen können |
| Claude-SearchBot | Anthropic | Verbesserung der Qualität der Suchergebnisse |
| Claude-User | Anthropic | Abruf von Seiten, wenn ein Nutzer von Claude eine Frage stellt |
| PerplexityBot | Perplexity | Websites in den Suchergebnissen von Perplexity sichtbar machen und verlinken; wird nicht für das Training von Basismodellen genutzt |
| Perplexity-User | Perplexity | Abruf von Seiten, um die Frage eines Nutzers zu beantworten |
| Google-Extended | Steuerungstoken für die Nutzung von Inhalten für Training und Grounding von Gemini |
Quellen: Übersicht der OpenAI-Crawler, Crawler-Dokumentation von Anthropic, Crawler von Perplexity, Allgemeine Crawler von Google.
Details, die Sie kennen sollten
OpenAI. OpenAI gibt an, dass jede Einstellung unabhängig von den anderen ist. Sie können also OAI-SearchBot zulassen und GPTBot ausschließen. Außerdem heißt es, dass Websites, die OAI-SearchBot ausschließen, in den Suchantworten von ChatGPT nicht angezeigt werden und dass robots.txt-Regeln für ChatGPT-User möglicherweise nicht gelten, weil diese Besuche von Nutzern ausgelöst werden.
Anthropic. Anthropic erklärt, dass seine Bots die branchenüblichen robots.txt-Anweisungen beachten und dass der Ausschluss auf jeder Subdomain gesetzt werden muss, die abgedeckt sein soll. Anthropic weist darauf hin, dass das Blockieren von Claude-SearchBot oder Claude-User Ihre Sichtbarkeit in der Suche von Claude und in Antworten auf Nutzeranfragen verringern kann.
Perplexity. Perplexity empfiehlt, PerplexityBot in der robots.txt zuzulassen, und gibt an, dass Perplexity-User robots.txt-Regeln in der Regel ignoriert, weil der Abruf von einem Nutzer angefordert wird.
Google. Google-Extended ist ein Produkttoken, kein eigener Crawler: Gecrawlt wird mit den bestehenden User Agents von Google. Google gibt an, dass Google-Extended keinen Einfluss darauf hat, ob eine Website in der Google-Suche erscheint, und auch nicht als Ranking-Signal verwendet wird. Für KI-Übersichten und den KI-Modus, die Teil der Suche sind, verweist Google Websiteinhaber auf die üblichen Steuerungsmöglichkeiten der Suche wie nosnippet, data-nosnippet, max-snippet und noindex.
Eine sinnvolle Standardrichtlinie für die robots.txt
Eine allgemeingültige richtige Antwort gibt es nicht. Sie hängt von Ihrem Geschäft, Ihren Inhalten und Ihrer rechtlichen Situation ab. Eine verbreitete, in sich schlüssige Richtlinie für Marken, die KI-Sichtbarkeit wollen, sieht aber so aus: Such-Agents und Agents für Nutzerabrufe zulassen und über Trainings-Agents bewusst und gesondert entscheiden.
# Such- und Antwortfunktionen: zugelassen
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Training: eine bewusste geschäftliche Entscheidung (Beispiel: ausgeschlossen)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Das ist ein Beispiel, keine Empfehlung für jede Website. Wenn Ihre Inhalte in künftige Modelle einfließen sollen, würden Sie stattdessen die Trainings-Agents zulassen.
Zwei Vorbehalte. Erstens ist die robots.txt eine Bitte, kein Schloss: Der Standard selbst, RFC 9309, hält fest, dass seine Regeln „keine Form der Zugriffsautorisierung“ sind. Zweitens blockiert eine pauschale Regel wie User-agent: * mit Disallow: /, die manchmal von einer Staging-Umgebung übrig geblieben ist, jeden regelkonformen Crawler, auch die Such-Crawler.
Häufige Fehler in der robots.txt
- Such-Agents blockieren, obwohl das Training gemeint war. Der häufigste und für die Sichtbarkeit teuerste Fehler.
- Subdomains vergessen. Jeder Host hat seine eigene robots.txt.
- Eine Liste aus einem Blogartikel ungeprüft übernehmen. Namen von User Agents ändern sich. Nutzen Sie die Dokumentation der Anbieter.
- Unbemerkt auf Firewall- oder CDN-Ebene blockieren. Einstellungen zum Bot-Schutz können KI-Agents blockieren, selbst wenn die robots.txt sie zulässt. Prüfen Sie Ihre Server-Logs.
- Annehmen, dass Änderungen an der robots.txt sofort greifen. OpenAI gibt zum Beispiel an, dass Änderungen für die Suche etwa 24 Stunden brauchen können, bis sie wirksam werden.
llms.txt: was es ist
llms.txt ist ein auf llmstxt.org veröffentlichter Vorschlag von Jeremy Howard aus dem September 2024. Er sieht vor, unter /llms.txt eine Markdown-Datei abzulegen, die Sprachmodellen einen knappen, kuratierten Einstieg in eine Website bietet.
Das Format ist einfach:
- eine H1 mit dem Namen der Website oder des Projekts (der einzige Pflichtabschnitt),
- eine kurze Zusammenfassung als Blockzitat,
- optionale Absätze mit Details,
- H2-Abschnitte mit Linklisten, jeweils mit optionaler Anmerkung,
- per Konvention ein Abschnitt mit dem Titel „Optional“ für nachrangige Links, die übersprungen werden können.
llms.txt: wo es wirklich steht
Seien Sie genau dabei, was bekannt ist und was nicht.
- Es ist ein Vorschlag, kein Standard in dem Sinne, wie es die robots.txt ist (die robots.txt ist ein IETF-RFC).
- Der Vorschlag selbst führt keine großen Assistenten als bestätigte Nutzer der Datei für die Beantwortung allgemeiner Fragen auf. Sein Autor beschreibt ihn vor allem als nützlich zum Zeitpunkt der Inferenz, etwa wenn ein Agent gezielt auf eine Website angesetzt wird.
- Google ist eindeutig: Sie brauchen keine neuen maschinenlesbaren Dateien, KI-Textdateien oder Markups, um in KI-Übersichten oder im KI-Modus zu erscheinen.
- Wir haben keine Primärdokumentation gefunden, in der OpenAI, Anthropic, Google oder Perplexity angeben, dass ihre Assistenten für Endnutzer llms.txt verwenden, um zu entscheiden, welche Marken sie erwähnen oder zitieren.
Was sollten Sie also tun? Wenn Sie Dokumentation, eine Entwickler-Zielgruppe oder eine komplexe Website haben, ist eine llms.txt-Datei schnell erstellt und kann Agents und Tools helfen, die sie lesen. Für die meisten Marken hat sie niedrige Priorität und kommt nach dem Zugriff für Crawler, klaren Inhalten und der Präsenz auf den Quellen, die Assistenten zitieren.
Checkliste
- robots.txt mit der aktuellen Dokumentation jedes Anbieters abgeglichen
- Such-Agents und Agents für Nutzerabrufe zugelassen, wenn Sie KI-Sichtbarkeit wollen
- Trainings-Agents als gesonderte, bewusste Entscheidung behandelt
- Kein übrig gebliebenes globales
Disallow: / - Subdomains geprüft
- Bot-Einstellungen von Firewall und CDN mit den Server-Logs abgeglichen
- llms.txt als optional betrachtet, nach den Grundlagen
Wie SearchFirefly hilft
Die technische Analyse von SearchFirefly gruppiert Probleme nach Thema und Schweregrad, mit den betroffenen Seiten, und die beobachteten Fragen zeigen, ob ChatGPT, Gemini, Perplexity, Google KI-Übersichten und der Google KI-Modus Ihre Marke tatsächlich erwähnen und Ihre Seiten zitieren. Beides zusammen zu sehen hilft Ihnen, ein Zugriffsproblem von einem Inhalts- oder Reputationsproblem zu unterscheiden, und jede priorisierte Empfehlung kommt mit der genauen Korrektur und einer Prüfung nach der Veröffentlichung.