Robots.txt Generator + Tester

Die robots.txt sagt Suchmaschinen, welche Bereiche sie besuchen dürfen. Erstellen Sie Ihre Regeln per Klick – oder testen Sie eine vorhandene Datei: Ist eine bestimmte URL blockiert?

Regeln zusammenstellen

Schnellstart mit einer Vorlage – danach frei anpassen.

Gesperrte Pfade (Disallow) – ein Pfad je Zeile, z. B. /intern/

Ausnahmen (Allow) – erlaubt Unterpfade innerhalb gesperrter Bereiche

Sitemap-URL (empfohlen)

Wichtig zu wissen: Die robots.txt steuert das Crawlen, nicht das Erscheinen in der Suche – eine gesperrte Seite kann trotzdem (ohne Beschreibung) gelistet werden, wenn andere auf sie verlinken. Zum sicheren Ausschluss aus der Suche dient „noindex“. Und: Die robots.txt ist öffentlich einsehbar – keine geheimen Pfade hineinschreiben.

Ihre robots.txt

Als Datei robots.txt ins Hauptverzeichnis Ihrer Website legen (https://ihrefirma.de/robots.txt).

Was Ihre Regeln bewirken

Der Türsteher Ihrer Website

Die robots.txt regelt, welche Bereiche Ihrer Website Suchmaschinen besuchen dürfen. Eine falsche Zeile kann die ganze Website aus Google verschwinden lassen – deshalb kombiniert dieses Tool den Generator direkt mit einem Tester, der Regeln nach der offiziellen Google-Logik auswertet.

Testen Sie nach jeder Änderung die wichtigsten Pfade: Startseite, eine Leistungsseite, eine Produktseite. Grün heißt erreichbar – und erst dann geht die Datei auf den Server.

Häufige Fragen

Versteckt Disallow eine Seite vor Google?

Nicht zuverlässig. Disallow verbietet nur das Crawlen – die URL kann trotzdem in den Ergebnissen auftauchen, wenn andere auf sie verlinken. Wer eine Seite wirklich aus dem Index halten will, braucht noindex.

Welche Regeln braucht eine normale Firmenwebsite?

Meist sehr wenige: Admin-Bereiche und interne Suchergebnisse sperren, Sitemap-Zeile eintragen – fertig. Je kürzer die Datei, desto weniger kann schiefgehen.

Wohin gehört die Datei?

Immer ins Hauptverzeichnis: www.ihrefirma.de/robots.txt. In Unterordnern wird sie ignoriert.

Passende Tools aus der Toolbox

XML Sitemap GeneratorTool öffnen → Meta-Tag CheckerTool öffnen → URL-Struktur-AnalyzerTool öffnen →

Technik im Griff – Sichtbarkeit im Blick

Saubere Crawling-Regeln sind Handwerk. Mit einem Eintrag bei ITSBETTER finden Einkäufer und Entscheider Ihr Unternehmen – mit Profil, Produkten und direktem Kontakt.

Firma eintragen Weitere Tools