seobetter.deDie Website-HU für Betriebe

Regelwerk › Crawling und Indexierung › G 24

robots.txt: was die Datei bei Google regelt und was nicht

Die robots.txt ist eine kleine Textdatei im Hauptverzeichnis Ihrer Website. Eine falsche Zeile darin kann eine ganze Website unsichtbar machen. Gleichzeitig wird ihr oft mehr zugetraut, als sie kann.

Die Regel in einem Satz

Die robots.txt steuert, welche Adressen der Googlebot abrufen darf; sie hält Seiten aber nicht zuverlässig aus den Suchergebnissen heraus.

Quelle: Google Search Central: Einführung in robots.txt, zuletzt geändert am 10.12.2025. Von uns gelesen und in eigenen Worten wiedergegeben am 07.11.2026.

Wofür die robots.txt da ist

Sie sagt Suchrobotern, welche Adressen sie abrufen dürfen. Der Hauptzweck ist, den Server vor zu vielen Abrufen zu schützen und unwichtige oder doppelte Bereiche auszulassen, etwa interne Suchergebnisse oder Filterseiten.

Wofür sie nicht da ist

Sie ist kein Mittel, um Seiten aus Google herauszuhalten. Eine gesperrte Seite kann trotzdem in den Ergebnissen erscheinen, nur ohne Beschreibung, wenn andere Seiten auf sie verlinken. Wer eine Seite sicher aus der Suche nehmen will, setzt noindex oder schützt sie mit Passwort. Und: Nicht jeder Roboter hält sich daran. Vertrauliches gehört hinter eine Anmeldung.

Wirkung je Dateiart

Webseiten und PDF

Weniger Abrufe, aber kein sicherer Ausschluss aus der Suche. Bilder und Videos, die nur auf einer gesperrten Seite eingebunden sind, werden ebenfalls nicht abgerufen.

Bilder, Videos, Audio

Hier wirkt die Sperre auch für die Suchergebnisse. Links von anderen Seiten auf die Dateien verhindert sie nicht.

Skripte und Stylesheets

Unwichtige Dateien dürfen gesperrt werden. Dateien, die Google braucht, um die Seite zu verstehen, nicht.

Was das für Ihren Betrieb heißt

Prüfen Sie nach jedem Relaunch, ob noch Disallow: / aus der Bauphase drinsteht. Die Zeile Sitemap: mit der Adresse Ihrer Sitemap gehört hinein. Und seit es KI-Dienste gibt, regelt die robots.txt auch, welche davon Ihre Seite lesen dürfen, siehe unsere Regel zu KI-Übersichten.

Erlaubt und verboten im Betriebsalltag

In Ordnung

  • Disallow: /suche/ für interne Suchergebnisse.
  • Eine Zeile Sitemap: https://ihre-firma.de/sitemap.xml.
  • Ein Login-Bereich, der zusätzlich per Passwort geschützt ist.

Verstößt gegen die Regel

  • Disallow: / für alle Roboter nach dem Relaunch vergessen.
  • Eine Danke-Seite per robots.txt „aus Google entfernen“.
  • Stylesheets und Skripte sperren, die die Seite zum Darstellen braucht.

So misst es der Check

Station 1 prüft, ob Ihre Startseite für Google freigegeben ist, Station 6, welche KI-Roboter Ihre robots.txt zulässt.

Mehr dazu im Ratgeber

Häufige Fragen

Wo liegt die robots.txt?

Immer im Hauptverzeichnis, also unter ihre-firma.de/robots.txt. Rufen Sie die Adresse einfach im Browser auf.

Brauche ich überhaupt eine robots.txt?

Nicht zwingend. Fehlt sie, darf Google alles abrufen. Für den Sitemap-Hinweis und KI-Regeln ist sie trotzdem nützlich.

Weiterlesen

Weitere Google-Regeln: Crawling und Indexierung

Quellen

Wir geben Googles Regeln in eigenen Worten und gekürzt wieder. Maßgeblich ist immer das Original, Google ändert seine Regeln von Zeit zu Zeit. Wir prüfen die Quellen regelmäßig und nennen das Datum. Keine Rechtsberatung.

Hält Ihre Website die Regeln ein?

Der Check misst sieben Stationen in etwa 10 Sekunden, mit Befunden in Klartext.

Prüfung starten