seobetter.deDie Website-HU für Betriebe

Ratgeber · So lesen KI-Dienste Ihre Website

Claude und die Roboter von Anthropic

Anthropic, der Hersteller von Claude, trennt drei Aufgaben sauber: Training, Suche und Abrufe im Auftrag eines Nutzers. Jeder Roboter lässt sich einzeln in der robots.txt steuern.

Stand 6. November 2026 · Gehört zu Station 6 im Check

Worum es geht

Claude kann im Netz suchen und Quellen nennen. Damit Ihre Seite dabei vorkommt, braucht es den Suchroboter von Anthropic. Ob Ihre Inhalte ins Training künftiger Modelle einfließen dürfen, entscheiden Sie über einen anderen Roboter.

Die Roboter im Überblick

NameWofürrobots.txtTraining
ClaudeBotSammelt Inhalte, die zum Training beitragen könnenbeachtet, auch Crawl-delayja
Claude-SearchBotLiest Seiten, um Suchergebnisse zu verbessernbeachtet, auch Crawl-delaynein
Claude-UserRuft Seiten ab, wenn ein Nutzer Claude etwas fragtbeachtet, auch Crawl-delaynein

So steuern Sie es

Laut Anthropic beachten alle drei Roboter die robots.txt, auch die Angabe Crawl-delay, mit der Sie Abrufe verlangsamen. Wer kein Training möchte, aber gefunden werden will, sperrt nur ClaudeBot:

User-agent: ClaudeBot
Disallow: /

Die Regel gilt je Subdomain. Anthropic rät davon ab, sich auf das Sperren von IP-Adressen zu verlassen. Seit dem 30. Oktober 2026 beachtet Anthropic nach eigener Angabe auch das neue gemeinsame Signal gegen KI-Training (mehr dazu im Ratgeber „Alle KI-Dienste in einer Tabelle“).

Was das für Ihre Firma heißt

Wer Claude-SearchBot oder Claude-User sperrt, wird laut Anthropic in den Suchergebnissen von Claude seltener sichtbar. Für Betriebe, die gefunden werden wollen, heißt das: diese beiden erlauben, ClaudeBot nach eigener Haltung.

Häufige Fragen

Verliere ich Sichtbarkeit, wenn ich ClaudeBot sperre?

ClaudeBot ist laut Anthropic für das Training zuständig. Für Suche und Nutzerabrufe gibt es Claude-SearchBot und Claude-User.

Kann ich Claude bremsen statt sperren?

Ja. Anthropic unterstützt die Angabe Crawl-delay in der robots.txt.

Prüft der Check auch Claude?

Ja. Station 6 zeigt, ob Claude-SearchBot oder Claude-User gesperrt sind.

Quellen

Lässt Ihre Website die KI-Dienste herein?

Station 6 im Check liest Ihre robots.txt und zeigt, welche Dienste gesperrt sind.

Prüfung starten