Ratgeber · So lesen KI-Dienste Ihre Website
Claude und die Roboter von Anthropic
Anthropic, der Hersteller von Claude, trennt drei Aufgaben sauber: Training, Suche und Abrufe im Auftrag eines Nutzers. Jeder Roboter lässt sich einzeln in der robots.txt steuern.
Worum es geht
Claude kann im Netz suchen und Quellen nennen. Damit Ihre Seite dabei vorkommt, braucht es den Suchroboter von Anthropic. Ob Ihre Inhalte ins Training künftiger Modelle einfließen dürfen, entscheiden Sie über einen anderen Roboter.
Die Roboter im Überblick
| Name | Wofür | robots.txt | Training |
|---|---|---|---|
| ClaudeBot | Sammelt Inhalte, die zum Training beitragen können | beachtet, auch Crawl-delay | ja |
| Claude-SearchBot | Liest Seiten, um Suchergebnisse zu verbessern | beachtet, auch Crawl-delay | nein |
| Claude-User | Ruft Seiten ab, wenn ein Nutzer Claude etwas fragt | beachtet, auch Crawl-delay | nein |
So steuern Sie es
Laut Anthropic beachten alle drei Roboter die robots.txt, auch die Angabe Crawl-delay, mit der Sie Abrufe verlangsamen. Wer kein Training möchte, aber gefunden werden will, sperrt nur ClaudeBot:
User-agent: ClaudeBot
Disallow: /
Die Regel gilt je Subdomain. Anthropic rät davon ab, sich auf das Sperren von IP-Adressen zu verlassen. Seit dem 30. Oktober 2026 beachtet Anthropic nach eigener Angabe auch das neue gemeinsame Signal gegen KI-Training (mehr dazu im Ratgeber „Alle KI-Dienste in einer Tabelle“).
Was das für Ihre Firma heißt
Wer Claude-SearchBot oder Claude-User sperrt, wird laut Anthropic in den Suchergebnissen von Claude seltener sichtbar. Für Betriebe, die gefunden werden wollen, heißt das: diese beiden erlauben, ClaudeBot nach eigener Haltung.
Häufige Fragen
Verliere ich Sichtbarkeit, wenn ich ClaudeBot sperre?
ClaudeBot ist laut Anthropic für das Training zuständig. Für Suche und Nutzerabrufe gibt es Claude-SearchBot und Claude-User.
Kann ich Claude bremsen statt sperren?
Ja. Anthropic unterstützt die Angabe Crawl-delay in der robots.txt.
Prüft der Check auch Claude?
Ja. Station 6 zeigt, ob Claude-SearchBot oder Claude-User gesperrt sind.