Regelwerk › Crawling und Indexierung › G 24
robots.txt: was die Datei bei Google regelt und was nicht
Die robots.txt ist eine kleine Textdatei im Hauptverzeichnis Ihrer Website. Eine falsche Zeile darin kann eine ganze Website unsichtbar machen. Gleichzeitig wird ihr oft mehr zugetraut, als sie kann.
Die robots.txt steuert, welche Adressen der Googlebot abrufen darf; sie hält Seiten aber nicht zuverlässig aus den Suchergebnissen heraus.
Quelle: Google Search Central: Einführung in robots.txt, zuletzt geändert am 10.12.2025. Von uns gelesen und in eigenen Worten wiedergegeben am 07.11.2026.
Wofür die robots.txt da ist
Sie sagt Suchrobotern, welche Adressen sie abrufen dürfen. Der Hauptzweck ist, den Server vor zu vielen Abrufen zu schützen und unwichtige oder doppelte Bereiche auszulassen, etwa interne Suchergebnisse oder Filterseiten.
Wofür sie nicht da ist
Sie ist kein Mittel, um Seiten aus Google herauszuhalten. Eine gesperrte Seite kann trotzdem in den Ergebnissen erscheinen, nur ohne Beschreibung, wenn andere Seiten auf sie verlinken. Wer eine Seite sicher aus der Suche nehmen will, setzt noindex oder schützt sie mit Passwort. Und: Nicht jeder Roboter hält sich daran. Vertrauliches gehört hinter eine Anmeldung.
Wirkung je Dateiart
Webseiten und PDF
Weniger Abrufe, aber kein sicherer Ausschluss aus der Suche. Bilder und Videos, die nur auf einer gesperrten Seite eingebunden sind, werden ebenfalls nicht abgerufen.
Bilder, Videos, Audio
Hier wirkt die Sperre auch für die Suchergebnisse. Links von anderen Seiten auf die Dateien verhindert sie nicht.
Skripte und Stylesheets
Unwichtige Dateien dürfen gesperrt werden. Dateien, die Google braucht, um die Seite zu verstehen, nicht.
Was das für Ihren Betrieb heißt
Prüfen Sie nach jedem Relaunch, ob noch Disallow: / aus der Bauphase drinsteht. Die Zeile Sitemap: mit der Adresse Ihrer Sitemap gehört hinein. Und seit es KI-Dienste gibt, regelt die robots.txt auch, welche davon Ihre Seite lesen dürfen, siehe unsere Regel zu KI-Übersichten.
Erlaubt und verboten im Betriebsalltag
In Ordnung
Disallow: /suche/für interne Suchergebnisse.- Eine Zeile
Sitemap: https://ihre-firma.de/sitemap.xml. - Ein Login-Bereich, der zusätzlich per Passwort geschützt ist.
Verstößt gegen die Regel
Disallow: /für alle Roboter nach dem Relaunch vergessen.- Eine Danke-Seite per robots.txt „aus Google entfernen“.
- Stylesheets und Skripte sperren, die die Seite zum Darstellen braucht.
So misst es der Check
Station 1 prüft, ob Ihre Startseite für Google freigegeben ist, Station 6, welche KI-Roboter Ihre robots.txt zulässt.
Mehr dazu im RatgeberHäufige Fragen
Wo liegt die robots.txt?
Immer im Hauptverzeichnis, also unter ihre-firma.de/robots.txt. Rufen Sie die Adresse einfach im Browser auf.
Brauche ich überhaupt eine robots.txt?
Nicht zwingend. Fehlt sie, darf Google alles abrufen. Für den Sitemap-Hinweis und KI-Regeln ist sie trotzdem nützlich.
Weiterlesen
- G 25noindex: wie Sie Seiten sicher aus der Google-Suche nehmen
- G 27XML-Sitemap: wann Google eine Sitemap braucht und was hineingehört
- G 42KI-Übersichten und KI-Modus: welche Regeln für Ihre Website gelten
- RatgeberFundament: sicher, schnell, erreichbar
- RatgeberKI-Sichtbarkeit: llms.txt, robots.txt, Firmendaten
Weitere Google-Regeln: Crawling und Indexierung
- G 25 noindex
- G 26 Doppelte Seiten und canonical
- G 27 Sitemap
- G 28 Weiterleitungen 301 und 302
- G 29 Statuscodes und Soft-404
- G 30 Mobile-First-Indexierung
- G 31 JavaScript
- G 32 URL-Struktur
- G 33 Links und Linktexte
Quellen
- Google Search Central: Einführung in robots.txt, zuletzt geändert am 10.12.2025
Wir geben Googles Regeln in eigenen Worten und gekürzt wieder. Maßgeblich ist immer das Original, Google ändert seine Regeln von Zeit zu Zeit. Wir prüfen die Quellen regelmäßig und nennen das Datum. Keine Rechtsberatung.