Ratgeber · So lesen KI-Dienste Ihre Website
Alle KI-Dienste in einer Tabelle
Welcher Roboter gehört zu welchem Dienst, wofür liest er, und was passiert, wenn Sie ihn sperren? Hier steht alles auf einer Seite, dazu eine robots.txt-Vorlage für den häufigsten Wunsch: gefunden werden, aber nicht ins Training.
Worum es geht
Die wichtigste Unterscheidung ist immer dieselbe: Suchroboter bringen Sie in KI-Antworten mit Quelle, Trainingsroboter sammeln Texte für künftige Modelle. Die meisten Betriebe wollen das Erste. Über das Zweite entscheidet jeder selbst.
Die Roboter im Überblick
| Name | Wofür | robots.txt | Training |
|---|---|---|---|
| OAI-SearchBot (OpenAI) | Suche in ChatGPT | beachtet | nein |
| GPTBot (OpenAI) | Training | beachtet | ja |
| ChatGPT-User (OpenAI) | Abruf für einen Nutzer | gilt nicht unbedingt | kein Crawler |
| PerplexityBot | Suche in Perplexity | beachtet | nein |
| Perplexity-User | Abruf für einen Nutzer | in der Regel nicht | nein |
| Claude-SearchBot (Anthropic) | Suche in Claude | beachtet | nein |
| Claude-User (Anthropic) | Abruf für einen Nutzer | beachtet | nein |
| ClaudeBot (Anthropic) | Training | beachtet | ja |
| Googlebot | Google-Suche | beachtet | nicht über diesen Schalter |
| Google-Extended | Gemini-Apps und Gemini-Training | beachtet | ja |
| Bingbot (Microsoft) | Bing-Suche und Copilot | beachtet | neue Einstellungen ab 2027 |
So steuern Sie es
Vorlage „gefunden werden, aber kein Training“. Sie gehört in die Datei robots.txt im Hauptverzeichnis Ihrer Website:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /
Neu seit 30. Oktober 2026: Ein gemeinsames Signal gegen KI-Training in der robots.txt, die Gruppe User-agent: __usage_ai-training. Google, Microsoft, OpenAI und Anthropic haben Unterstützung angekündigt. Es ist ein Entwurf bei der IETF und noch kein Standard. Anthropic beachtet es nach eigener Angabe bereits, Microsoft ab Februar 2027, Google ab Anfang 2027, OpenAI „in den kommenden Monaten“. Bis dahin bleiben die einzelnen Einträge oben der sichere Weg.
Was das für Ihre Firma heißt
Die Datei llms.txt ergänzt die robots.txt: Sie sagt KI-Diensten in Kurzform, wer Sie sind und welche Seiten wichtig sind. Sie ist ein Vorschlag und kein Standard, kostet aber nur zehn Minuten. Den Baukasten finden Sie unter Werkzeuge.
Häufige Fragen
Welche Roboter sollte ein Betrieb erlauben?
Alle Suchroboter: OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot und Bingbot. Über die Trainingsroboter entscheiden Sie selbst.
Ist das gemeinsame Trainings-Signal schon wirksam?
Teilweise. Es ist ein Entwurf. Einige Anbieter beachten es schon, andere haben es für 2027 angekündigt.
Wie aktuell ist diese Tabelle?
Stand 6. November 2026, aus den Seiten der Anbieter. Die Regeln ändern sich oft, wir aktualisieren die Tabelle regelmäßig.